콜드 스타트란?

서버리스 컴퓨팅에서 "콜드 스타트(cold start)"는 오랫동안 호출되지 않았던 함수가 처리를 시작하는 데 걸리는 시간을 의미합니다. AI 추론의 경우 모델을 로드하는 데 몇 분 또는 그 이상이 걸릴 수 있습니다. 예를 들어 NetEase Games의 특정 워크로드에서는 무려 42분이 걸리기도 했습니다. 컴퓨터를 종료한 후 다시 켤 때 전체 성능에 도달하기까지 시간이 필요한 것과 같습니다.

콜드 스타트는 서버리스 아키텍처를 시작하는 사람이라면 누구나 잘 알고 있는 현상입니다. 이는 애플리케이션의 성능과 사용성에 영향을 미치며, 특히 타임아웃이 최대한 짧아야 하는 상호작용에서 더욱 그렇습니다.

콜드 스타트는 다음과 같은 상황에서 발생합니다.

• 첫 번째 호출: 이 현상은 애플리케이션 배포 후 또는 코드 업데이트 후 함수가 처음으로 호출될 때 발생합니다.
• 확장성 0에서: 함수가 발생하지 않고 잠시 작동하지 않은 후 호출을 받는 경우입니다.
• 리소스 재할당: 클라우드 공급자가 리소스를 재할당합니다. 또는 함수의 기반이 다른 호스트로 변경될 때 콜드 함수 인스턴스가 발생할 수 있습니다.
• 시간 초과 또는 만료: 함수 인스턴스가 최대 실행 시간에 도달하거나 유휴 시간을 초과하면 종료될 수 있습니다. 다시 호출되면 새로 시작된다는 의미입니다.

웜 스타트(warm start)는 반대의 효과를 가집니다. 요청이 여전히 실행 중인 인스턴스에 도달하므로 설정 과정이 생략됩니다.

콜드 스타트와 관련된 주요 과제는 추가적인 지연 시간입니다. 이 지연 시간은 다음과 같은 형태로 관찰할 수 있습니다.

• 지연된 응답: 일반적으로 앱이 신속하게 답변을 제공하지만, 사용자는 가끔 경험에 영향을 미칠 수 있는 지연을 겪을 수 있습니다.
• 저하된 처리량: 콜드 스타트로 인해 특히 사용량이 많은 기간 동안 동시 요청을 처리하는 애플리케이션의 능력을 점진적으로 늘려야 할 수 있습니다.
• 성능 차이: 콜드 스타트 수치는 호출마다 다르므로 서버리스 응답 시간은 다음 없이는 예측할 수 없습니다. 서버리스 모니터링.

Lambda 콜드 스타트의 지속 시간은 다음과 같은 다양한 요인에 따라 달라질 수 있습니다.

• 함수 크기 및 종속성: 함수가 클수록 관련된 종속성이 많아지고 일반적인 콜드 스타트에 걸리는 시간이 길어집니다.
• 런타임 환경: 초기 런타임 환경(예: Node.js, Python, Java 등)은 초기화 및 로딩 프로세스의 차이로 인해 콜드 스타트 시간과 같은 요인을 필연적으로 결정합니다.
• 클라우드 공급자 최적화: 시간이 지남에 따라 클라우드 공급자는 콜드 스타트 시간을 최대한 줄이기 위한 최적화를 지속적으로 제공하지만, 이는 고정되거나 예측 가능하지 않습니다.

전반적으로 Lambda의 콜드 스타트는 100ms 미만에서 1초 이상. 자체 함수를 확인하여 콜드 스타트 지속 시간이 함수의 요구 사항과 환경을 어떻게 반영하는지 관찰하여 정확한 인사이트를 얻으세요.

다음 방법을 통해 Lambda의 콜드 스타트 시간을 최소화하세요.

• 함수 최적화:
• 사용하지 않는 코드와 종속성을 삭제하여 함수 크기 줄이기
• 초기화 중 로드된 코드 양 줄이기 위해 트리 셰이킹 또는 코드 분할 방법 사용
• 패키지 배포 및 패키지 종속성 해결 워크플로 개선
• 스냅샷 복원: Lambda SnapStart는 Java와 같은 런타임에 대해 함수를 다시 시작하는 대신 초기화된 함수의 저장된 스냅샷을 제공하여 지연 시간을 줄입니다.
• 프로비저닝된 동시성:

프로비저닝된 동시성 구성하여 특정 수의 함수 인스턴스를 활성 상태로 유지하여 들어오는 요청으로 인해 해당 인스턴스에 콜드 스타트가 발생하지 않도록 함

• 워밍업 요청:

실제 사용자 요청이 도착했을 때 함수가 워밍업되도록 가끔 가짜 요청을 보내야 합니다.

• 비동기 처리:

중요하지 않은 작업의 경우, 다른 비동기 패턴을 도입하여 함수에서 사용자 요청을 리팩토링하는 것이 더 나을 수 있습니다. 이렇게 하면 콜드 스타트의 영향을 최소화할 수 있습니다.

• 캐싱:

자주 액세스하는 데이터나 사전 계산된 결과를 저장하는 적절한 캐싱 메커니즘을 도입하여 함수 호출 횟수를 줄이고 콜드 스타트 발생 횟수를 줄입니다. 시작 시 함수 로드를 프리페칭하는 것도 동일한 방식으로 작동합니다. NetEase Games는 캐시를 사용하여 한 AI 모델의 로드 시간을 42분에서 14분으로 단축한 다음, 프리페칭을 통해 3분으로 단축했습니다(CNCF, 2026).