Co to jest zimny start?

W technologii serverless „zimny start” (cold start) to czas potrzebny na rozpoczęcie przetwarzania przez funkcję, która nie była wywoływana przez dłuższy czas. W przypadku wnioskowania AI ładowanie modelu może zająć minuty lub znacznie dłużej – jak w przypadku jednego z zadań NetEase Games, gdzie trwało to aż 42 minuty. Gdy komputer jest włączany po wyłączeniu, może potrzebować czasu na osiągnięcie pełnej wydajności.

Zimne starty są dobrze znane każdemu, kto zaczyna pracę z architekturami serverless. Wpływają one na wydajność i użyteczność aplikacji, szczególnie w przypadku interakcji, w których limity czasu (timeouts) muszą być jak najkrótsze.

Zimne starty występują w następujących okolicznościach.

• Pierwsze wywołanie: Dzieje się tak gdy funkcja jest wywoływana po raz pierwszy po wdrożeniu aplikacji lub po aktualizacji kodu,
• skalowania od zera: Gdy funkcja rozszerza się z braku wystąpień i odbiera połączenia po pewnym czasie bezczynności.
• Realokacja zasobów: Gdy dostawca chmury przypisuje ponownie zasoby lub gdy baza funkcji zmienia się na inne hosty, co może prowadzić do powstania zimnych instancji funkcji.
• Limit czasu lub wygaśnięcie: Jeśli instancja funkcji osiągnie maksymalny czas wykonywania lub przekroczy czas bezczynności, może zostać zakończona, co oznacza, że jeśli zostanie ponownie wywołana, uruchomi się od nowa.

Ciepły start (warm start) ma odwrotny skutek: żądanie trafia do instancji, która wciąż działa, więc etap konfiguracji jest pomijany.

Podstawowym wyzwaniem związanym z zimnymi startami jest dodatkowe opóźnienie. To opóźnienie można zaobserwować w postaci:

• Opóźnione odpowiedzi: Chociaż Twoja aplikacja zazwyczaj udziela szybkich odpowiedzi, użytkownicy mogą czasami napotkać opóźnienia, które mogą wpłynąć na ich doświadczenia.
• Zmniejszona przepustowość: Zimne starty mogą wymagać stopniowego zwiększania zdolności aplikacji do obsługi jednoczesnych żądań, szczególnie w okresach intensywnego użytkowania.
• Odchylenia wydajności: Parametry zimnego startu różnią się w zależności od wywołania, dlatego serverless czasów reakcji nie można przewidzieć bez monitorowania środowiska serverless.

Czas trwania zimnego startu Lambda może się różnić w zależności od różnych czynników, takich jak:

• Rozmiar funkcji i zależności: Im większa jest funkcja, tym więcej zależności jest zaangażowanych, a typowy zimny start trwa dłużej.
• Środowisko wykonawcze: Początkowe wybrane środowisko wykonawcze (na przykład Node.js, Python, Java itp.) koniecznie określa czynnik, taki jak czas zimnego startu, ze względu na różnice w procesach inicjalizacji i ładowania.
• Optymalizacje dostawców chmury: Z czasem dostawcy chmury stale zapewniają optymalizacje w celu maksymalnego skrócenia czasu zimnego startu; jednak nie jest on stały ani przewidywalny.

Ogólnie rzecz biorąc, zimne starty funkcji Lambda mogą trwać od poniżej 100 ms do ponad 1 sekundy. Warto sprawdzić własne funkcje, aby zaobserwować, jak czasy trwania zimnego startu odzwierciedlają potrzeby funkcji i środowiska, co pozwoli uzyskać dokładne informacje.

Zminimalizuj czas zimnego startu funkcji Lambda poprzez:

• Optymalizacja funkcji:
• Usuń nieużywany kod i zależności, aby zmniejszyć rozmiar funkcji.
• Metody tree-shaking lub code-splitting powinny być używane do zmniejszenia ilości ładowanego kodu podczas inicjalizacji.
• Popraw dystrybucję pakietów i przepływy pracy z rozwiązanymi zależnościami pakietów.
• Przywracanie z migawki: Lambda SnapStart, dla środowisk uruchomieniowych takich jak Java, dostarcza zapisaną migawkę zainicjalizowanej funkcji zamiast uruchamiać ją od nowa, aby zmniejszyć opóźnienia.
• Konkurencja dostarczona:

Skonfiguruj dostarczoną konkurencję, aby utrzymać określoną liczbę aktywnych wystąpień funkcji, tak aby przychodzące żądania nie spowodowały zimnego startu dla tych wystąpień.

• Żądania rozgrzewające:

Czasami musisz wysłać kilka fikcyjnych żądań do swoich funkcji, aby zostały rozgrzane, gdy pojawią się żądania rzeczywistych użytkowników.

• Przetwarzanie asynchroniczne:

W przypadku operacji niekrytycznych lepiej jest przebudować żądania użytkowników z funkcji, wprowadzając inne asynchroniczne wzorce, aby zimne starty miały minimalny wpływ.

• Buforowanie:

Wprowadź odpowiednie mechanizmy buforowania, które przechowują często używane dane lub wstępnie obliczone wyniki, aby zmniejszyć liczbę wywołań funkcji, a tym samym zmniejszyć występowanie zimnych startów. Wstępne ładowanie funkcji przy uruchomieniu działa w ten sam sposób: NetEase Games skróciło czas ładowania jednego modelu AI z 42 do 14 minut dzięki pamięci podręcznej, a następnie do 3 minut dzięki wstępnemu ładowaniu (CNCF, 2026).