Що таке холодний старт?

У безсерверних обчисленнях «холодний старт» — це час, необхідний функції для початку обробки після того, як вона тривалий час не викликалася. При виведенні ШІ (AI inference) завантаження моделі може тривати хвилини або набагато довше — як у тому випадку з робочим навантаженням NetEase Games, де воно тривало колосальні 42 хвилини. Коли комп'ютер вмикається після вимкнення, йому може знадобитися час для досягнення повної продуктивності.

Холодні старти добре відомі кожному, хто починає працювати з безсерверними архітектурами. Вони впливають на продуктивність і зручність використання вашого додатка, особливо при взаємодіях, де таймаути мають бути якомога коротшими.

Холодні запуски відбуваються за таких обставин.

• Перший виклик: Це відбувається коли функція викликається вперше після розгортання додатків або після оновлення коду.
• Масштабування з нуля: Коли функція розширюється, не маючи жодних екземплярів, і отримує виклики після деякого часу бездіяльності.
• Перерозподіл ресурсів: Коли хмарний провайдер перерозподіляє ресурси або база функції переноситься на інші хости, це може призвести до появи холодних екземплярів функцій.
• Тайм-аут або закінчення терміну дії: Якщо екземпляр функції досяг максимального часу виконання або перевищив час простою, його можна завершити, тобто якщо його викликати знову, він почнеться заново.

Теплий старт має протилежний ефект: запит надходить до екземпляра, який все ще працює, тому налаштування пропускається.

Основною проблемою, пов'язаною з холодним стартом, є додаткова затримка. Цю затримку можна спостерігати у формі:

• Затримки у відповідях: Хоча ваш додаток зазвичай надає швидкі відповіді, користувачі можуть час від часу стикатися із затримками, які можуть вплинути на їхній досвід.
• Знижена пропускна здатність: Холодні старти можуть вимагати поступового збільшення здатності вашого додатка обробляти одночасні запити, особливо в періоди інтенсивного використання.
• Відхилення продуктивності: Показники холодного старту відрізняються між викликами, тому безсерверних функцій час відповіді неможливо передбачити без безсерверного моніторингу.

Тривалість холодного запуску Lambda може змінюватися залежно від різних факторів, таких як:

• Розмір функції та залежності: Чим більша функція, тим більше залежностей задіяно, і тим довше триває типовий холодний запуск.
• Робоче середовище: Початкове вибране робоче середовище (наприклад, Node.js, Python, Java тощо) обов’язково визначає такий фактор, як час холодного запуску, через відмінності в процесах ініціалізації та завантаження.
• Оптимізації постачальника хмарних послуг: З часом постачальники хмарних послуг постійно надають оптимізації, щоб максимально скоротити час холодного запуску; однак це не фіксовано і непередбачувано.

Загалом, холодний старт Lambda може коливатися від менш ніж 100 мс до понад 1 секунди. Перевірте власні функції, щоб побачити, як тривалість холодного старту відображає потреби ваших функцій і середовища, щоб отримати точні дані.

Мінімізуйте час холодного старту Lambda за допомогою:

• Оптимізація функції:
• Видаліть невикористаний код і залежності, щоб зменшити розмір функції.
• Методи tree-shaking або розділення коду слід використовувати, щоб зменшити обсяг завантаженого коду під час ініціалізації.
• Покращте розподіл пакетів і вирішення залежностей пакетів.
• Відновлення зі знімка: Lambda SnapStart, для таких середовищ виконання, як Java, надає збережений знімок ініціалізованої функції замість її повторного запуску, щоб зменшити затримку.
• Забезпечена одночасність:

Налаштуйте забезпечену одночасність, щоб підтримувати певну кількість активних екземплярів функцій, щоб вхідні запити не викликали холодний запуск для цих екземплярів.

• Запити на розігрів:

Іноді вам потрібно надсилати деякі фіктивні запити до своїх функцій, щоб вони були розігріті, коли надійдуть запити реального користувача.

• Асинхронна обробка:

Для некритичних операцій може бути краще переробити запити користувачів із функцій, ввівши інші асинхронні шаблони, щоб холодні запуски мали мінімальний ефект.

• Кешування:

Впровадьте відповідні механізми кешування, які зберігають часто використовувані дані або попередньо обчислені результати, щоб зменшити кількість викликів функцій і, таким чином, зменшити випадки холодних запусків. Попереднє завантаження функції під час запуску працює так само: NetEase Games скоротила час завантаження однієї моделі ШІ з 42 до 14 хвилин за допомогою кешу, а потім до 3 хвилин за допомогою попереднього завантаження (CNCF, 2026).