운영 점진적 배포: 원인을 좁히는 순서

어떤 증상인가

점진적 배포 문제가 나타난 입력, 직전 동작과 실제 결과를 함께 적습니다. 예를 들어 “가끔 실패”라고 쓰는 대신 정상 사례와 실패 사례를 하나씩 두고, 두 사례에서 달라진 version·설정·데이터를 표로 남깁니다.

사례	입력과 상태	결과
정상	가장 작은 정상 조건	기대한 결과
실패	한 조건만 달라진 재현	실제 오류·값

원인을 좁히는 순서

점진적 배포는 cohort별 핵심 지표와 자동 중단 기준이 있어야 하며 전체 평균은 작은 실패 집단을 숨길 수 있습니다.

source, build artifact, configuration과 DB schema 버전을 나눠 어느 조합에서 실패했는지 확인합니다. process가 다시 떴다는 사실은 readiness나 핵심 기능 정상의 증거가 아닙니다. RED 지표와 자원 포화, 배포 이벤트, 로그·trace를 동일 타임라인에 정렬한다. 정상과 실패를 번갈아 실행하고, 이 원인이 맞다면 달라져야 할 값부터 확인합니다. 관련 없는 로그와 설정을 한꺼번에 바꾸지 않습니다.

수정하고 확인하기

한 번 만든 immutable artifact를 승격하고 readiness 뒤 traffic 편입, 이전 version drain, 자동 rollback 기준과 하위 호환 schema 변경을 적용합니다. 영향을 먼저 제한하고 가설별 판별 신호를 정한 뒤 가장 되돌리기 쉬운 조치부터 수행한다.

수정 전 실패 사례가 사라지고 기존 정상 사례가 유지돼야 합니다. 사용자 영향 종료, 지표 기준선 회복, 재발 실험과 runbook 유효성을 확인한다. 새·구 버전이 공존하는 rolling deployment, 취소, 재시도와 rollback을 운영과 같은 순서로 검증합니다. 가장 작은 실패 입력은 자동 테스트나 실행 가능한 점검 명령으로 남깁니다.

공식 문서와 적용 범위

• OpenTelemetry Documentation (새 창에서 열림)

문서의 기본값과 동작은 version에 따라 달라질 수 있습니다. 현재 version, 실제 적용 설정, 자원 제한과 운영 환경에서 다시 확인합니다.