판정할 동작
점진적 배포에서 유지해야 할 동작과 바뀌어야 할 결과를 나눠 적습니다. 점진적 배포는 cohort별 핵심 지표와 자동 중단 기준이 있어야 하며 전체 평균은 작은 실패 집단을 숨길 수 있습니다.
작은 테스트 표
source, build artifact, configuration과 DB schema 버전을 나눠 어느 조합에서 실패했는지 확인합니다. process가 다시 떴다는 사실은 readiness나 핵심 기능 정상의 증거가 아닙니다.
| 조건 | 확인할 내용 |
|---|---|
| 대표 사례 | 자주 쓰는 조건에서 기대 결과가 나오는가 |
| 경계 | 값이나 동작이 바뀌는 지점이 안전한가 |
| 실패 | 오류가 정해진 방식으로 드러나고 중간 상태가 남지 않는가 |
| 반복 | 다시 실행해도 결과가 예측 가능한가 |
결과를 읽고 남길 것
수정 전 실패 사례는 사라지고 기존 정상 사례는 유지돼야 합니다. 사용자 영향 종료, 지표 기준선 회복, 재발 실험과 runbook 유효성을 확인한다. 새·구 버전이 공존하는 rolling deployment, 취소, 재시도와 rollback을 운영과 같은 순서로 검증합니다. 한 번의 가장 좋은 결과나 화면 한 장으로 완료를 선언하지 않습니다. 실패 입력과 기대 결과를 자동 test나 실행 가능한 점검으로 남깁니다.
공식 문서와 적용 범위
문서의 기본값과 동작은 version에 따라 달라질 수 있습니다. 현재 version, 실제 적용 설정, 자원 제한과 운영 환경에서 다시 확인합니다.