헷갈리기 쉬운 상황
multiprocessing 직렬화 비용: 정상처럼 보이는 한 사례만으로는 동작 범위를 이해하기 어렵습니다. 대표 입력에서는 문제없다가 경계값, 느린 응답, 배포 직후처럼 조건이 달라질 때 결과가 바뀔 수 있습니다.
process 사이 argument와 result는 대개 pickle·IPC를 거치므로 큰 object는 계산보다 복사·직렬화가 더 비쌀 수 있습니다.
핵심 원리
CPython interpreter, reference counting, cyclic GC, GIL과 native extension이 함께 동작하는 실행 환경에서 어느 경계가 결과를 결정하는지 먼저 봅니다. 빠르다는 인상 대신 런타임 버전, warm-up, 입력 분포, p50·p95·p99와 CPU·I/O·할당량을 기록합니다. 같은 결과와 오류 처리를 제공하지 않는 두 구현의 숫자는 비교 자료가 아닙니다.
| 구분 | 짧은 예시 |
|---|---|
| 기대 결과 | multiprocessing 직렬화 비용: 정상 조건에서 사용자가 받아야 할 결과 |
| 실제 결과 | 같은 입력에서 처음 달라진 값·상태·오류 |
| 판별 자료 | py-spy/cProfile, tracemalloc, gc 통계, RSS, task와 file descriptor를 재현 입력과 함께 측정한다 |
실무에서 확인할 것
CPU와 I/O 작업을 구분하고 iterator, context manager, timeout, process·thread 선택을 측정 결과로 결정한다. profiler와 실행 계획에서 가장 큰 비용을 먼저 줄입니다. 메서드 하나를 바꾸는 micro optimization보다 알고리즘 복잡도, 데이터 왕복, 복사와 직렬화 횟수를 먼저 고칩니다.
대표 사례 하나, 값이 달라지는 경계 하나, 예상 가능한 실패 하나를 같은 순서로 확인합니다. 입력 크기별 시간·메모리 복잡도, 장시간 RSS 기준선, 열린 자원과 취소 후 task를 확인한다. 대표 입력과 최악 입력을 분리해 독립된 프로세스로 반복하고 처리량 증가가 오류율, 메모리, 가독성과 운영 복잡성을 악화시키지 않았는지 확인합니다.
공식 문서와 적용 범위
문서의 기본값과 동작은 version에 따라 달라질 수 있습니다. 현재 Python 구현과 version, dependency, 입력 크기와 실행 환경에서 다시 확인합니다.