부하가 늘면 서버를 어떻게 늘리는가?

상태를 보고 판단하는 것이 아니라 고리를 돈다. 주기마다 지표를 읽어 필요한 대수를 다시 셈하고 그 값을 반영한다.

바로 반응하면 오르내린다. 잠깐 튄 값에 늘렸다가 곧 줄이기를 되풀이한다. 그래서 작은 차이는 무시하고, 정해 둔 시간만큼 지켜본 뒤에 움직인다.

쿠버네티스 기본값은 15초마다 셈하고, 줄일 때만 300초를 지켜본다. 늘릴 때는 0초다. 다만 이건 설정값이지 모든 오토스케일러의 법칙이 아니다.

늘리는 데 걸리는 시간이 진짜 제약이다. 서버가 뜨고 받을 준비를 마칠 때까지 몇 분이면 그 몇 분은 이미 밀린다. 줄일 때 연결을 마저 끝내는 일도 오토스케일러가 아니라 다른 장치가 한다.