Що таке автомасштабування в SaaS?

Автомасштабування — це функція, яка регулює ресурси програми SaaS вгору або вниз залежно від поточного використання. Коли користувачів стає більше, автомасштабування збільшує доступні ресурси, а в спокійні періоди — зменшує їх. Kubernetes’ Horizontal Pod Autoscaler, for example, checks usage every 15 seconds by default.

SaaS companies need auto-scaling because they often don’t know when traffic is going up or down. While it’s sometimes predictable (e.g., a product launch), sudden global events and unexpected spikes are where auto-scaling should be deployed.

Reasons Щоб use auto-scaling in your SaaS business include:

• Продуктивність: Використовуйте автоматичне масштабування, щоб ваш сайт або програма працювали оптимально в періоди високого навантаження; без нього ви можете зіткнутися з перебоями в роботі служби.
• Доступність: Auto-scaling supports the reachability of sites, products, and services as demand fluctuates, while a load balancer manages traffic distribution among auto-scaled servers.
• Оптимізація витрат: Використовуйте автоматичне масштабування для збільшення та зменшення масштабу на основі використання в режимі реального часу - ви ризикуєте зайвими витратами, якщо використовуєте альтернативний метод.

Auto-scaling is triggered by cloud performance metrics, checked at intervals (every 15 seconds by default in Kubernetes), such as:

• Використання ЦП: Кількість ЦП, що використовується в будь-який момент часу.
• Використання пам'яті: Скільки пам'яті використовує програма або веб-сайт у режимі реального часу.
• Мережевий трафік: Data received and sent over the network.
• Затримка запиту: Response times to user requests; this partly depends on how many users are on the same server.
• Довжина черги: Запити черги очікування; автоматичне масштабування вгору запускається, коли це значення вище.

Різні політики автоматичного масштабування працюють у різних сценаріях. Ось список деяких поширених політик і коли їх слід використовувати:

• Відстеження цілей: Moves resources based on a metric like average queue length; AWS strongly recommends it for EC2 Auto Scaling (AWS).

• Поетапне масштабування: Scales within thresholds you set, in steps sized to the breach; use when target tracking is not enough.

• Планове масштабування: Масштабування на основі запланованого часу; використовуйте, якщо ви знаєте щоденні або щотижневі моделі трафіку.

Прикладами компаній SaaS, які використовують автоматичне масштабування на основі попиту, є:

• Shopify: Runs microservices on Google Kubernetes Engine, which Google says scales during traffic spikes such as Black Friday (Google Cloud).

• Slack: Autoscales its web app tier quickly when workers become saturated (Slack Engineering, 2020).

• Netflix: Auto-scaling parameters are set to manage traffic when more viewers are online (e.g., evenings, як Netflix patent on predictive scaling filed in 2013 describes).