Che cos'è l'avvio a freddo?

Nel serverless computing, un "cold start" è il tempo necessario a una funzione per iniziare l'elaborazione dopo non essere stata chiamata per molto tempo. Con l'inferenza IA, il caricamento di un modello può richiedere minuti o molto più tempo, come nel caso di quel carico di lavoro di NetEase Games in cui ha richiesto ben 42 minuti. Quando un computer viene acceso dopo essere stato spento, potrebbe aver bisogno di tempo per raggiungere le massime prestazioni.

I cold start sono ben noti a chiunque inizi a lavorare con architetture serverless. Essi influiscono sulle prestazioni e sull'usabilità dell'applicazione, in particolare con le interazioni in cui i timeout devono essere ridotti al minimo.

Gli avvii a freddo si verificano nelle seguenti circostanze.

• Prima invocazione: Questo si verifica quando una funzione viene chiamata per la prima volta dopo la distribuzione delle applicazioni o dopo l'aggiornamento del codice.
• scalabilità da zero: Quando una funzione si espande da nessuna occorrenza e riceve chiamate dopo un po' di inattività.
• Riassegnazione delle risorse: Quando il provider cloud riassegna le risorse o la base della funzione si sposta su altri host, ciò può causare istanze di funzione fredde.
• Timeout o scadenza: Se un'istanza di funzione è al tempo massimo di esecuzione o ha superato il suo tempo di inattività, può essere terminata, il che significa che se viene richiamata di nuovo, ripartirà da zero.

Un avvio a caldo (warm start) ha l'effetto opposto: la richiesta raggiunge un'istanza ancora in esecuzione, saltando così la configurazione iniziale.

Una sfida primaria associata agli avvii a freddo è la latenza aggiuntiva. Questa latenza può essere osservata sotto forma di:

• Risposte ritardate: Sebbene la tua app in genere fornisca risposte rapide, gli utenti potrebbero occasionalmente riscontrare ritardi che potrebbero influire sulla loro esperienza.
• Rendimento ridotto: I cold start potrebbero richiedere un aumento graduale della capacità dell'applicazione di gestire richieste simultanee, specialmente nei periodi di intenso utilizzo.
• Variazioni delle prestazioni: I valori dei cold start variano tra le chiamate, pertanto serverless i tempi di risposta non possono essere previsti senza un monitoraggio serverless.

La durata di un avvio a freddo di Lambda può variare a seconda di diversi fattori, come:

• Dimensioni e dipendenze della funzione: Più grande è la funzione, più dipendenze sono coinvolte e più lungo è il tipico avvio a freddo.
• Ambiente di runtime: L'ambiente di runtime iniziale selezionato (ad esempio, Node.js, Python, Java, ecc.) determina necessariamente un fattore come il tempo di avvio a freddo a causa delle differenze nei processi di inizializzazione e caricamento.
• Ottimizzazioni del provider cloud: Nel tempo, i provider cloud forniscono costantemente ottimizzazioni per ridurre il più possibile il tempo di avvio a freddo; tuttavia, non è fisso o prevedibile.

In generale, i cold start di Lambda possono variare da meno di 100 ms a oltre 1 secondo. Verificate le vostre funzioni per osservare come le durate dei cold start riflettano le esigenze delle vostre funzioni e del vostro ambiente per ottenere informazioni accurate.

Riducete al minimo il tempo di cold start di Lambda tramite:

• Ottimizzazione della funzione:
• Elimina il codice e le dipendenze inutilizzati per ridurre le dimensioni della funzione.
• I metodi tree-shaking o code-splitting dovrebbero essere utilizzati per ridurre la quantità di codice caricato durante l'inizializzazione.
• Migliora la distribuzione dei pacchetti e i flussi di lavoro risolti dalla dipendenza del pacchetto.
• Ripristino da snapshot: Lambda SnapStart, per runtime come Java, fornisce uno snapshot salvato di una funzione inizializzata invece di avviarla nuovamente per ridurre la latenza.
• Concorrenza fornita:

Configura la concorrenza fornita per mantenere attivo il numero specifico di istanze di funzione in modo che le richieste in arrivo non causino un avvio a freddo per tali istanze.

• Richieste di riscaldamento:

A volte, devi inviare alcune richieste fittizie alle tue funzioni in modo che siano riscaldate quando arrivano le richieste degli utenti reali.

• Elaborazione asincrona:

Per le operazioni non critiche, potrebbe essere meglio riorganizzare le richieste degli utenti dalle funzioni introducendo altri modelli asincroni in modo che gli avvii a freddo abbiano un effetto minimo.

• Caching:

Introduci meccanismi di caching appropriati che memorizzino i dati a cui si accede frequentemente o i risultati precalcolati per ridurre il numero di invocazioni di funzioni e quindi diminuire le occorrenze di avvii a freddo. Il pre-caricamento della funzione all'avvio funziona allo stesso modo: NetEase Games ha ridotto il tempo di caricamento di un modello IA da 42 a 14 minuti con una cache, e poi a 3 con il prefetching (CNCF, 2026).