호출 시간 제한은 무엇을 기준으로 정하는가?

사용자 요청 전체의 마감 시각에서 시작한다. 서비스마다 새 타이머를 주는 대신 남은 시간을 아래 호출로 전달해야 이미 끝난 요청에 자원을 계속 쓰지 않는다.

값은 평균 지연 시간 하나로 정하지 않는다. 정상·혼잡·콜드 스타트에서의 지연 분포와 허용할 거짓 타임아웃 비율을 본다. 큰 요청처럼 지연 특성이 다른 작업은 별도 정책을 둔다.

너무 짧으면 성공할 요청을 끊고 재시도로 부하를 늘린다. 너무 길면 실패한 호출이 스레드와 커넥션을 붙잡는다.

연결 수립 제한과 요청 전체의 deadline도 구분한다. DNS·TCP·TLS 연결에 쓸 상한과 응답 완료까지의 상한은 막는 구간이 다르다. 사용하는 라이브러리의 timeout이 어느 구간을 재는지 확인해야 한다.

재시도 횟수, 각 시도의 제한 시간, backoff는 모두 하나의 전체 예산 안에 들어가야 한다. 여러 계층이 각자 재시도하면 시도 횟수가 곱으로 늘어난다. 재시도할 한 계층을 정하고 남은 시간에 다음 시도가 끝날 수 있을 때만 보낸다.

deadline이 지났다고 이미 시작한 일이 저절로 취소되지는 않는다. 취소 신호를 호출 사슬에 전파하고 각 단계가 새 작업 전에 남은 시간을 확인한다. 결제처럼 외부 효과가 시작된 작업은 취소만 믿지 않고 멱등 키와 결과 조회로 최종 상태를 확인한다.