无服务器计算
什么是冷启动?
无服务器计算中的冷启动是什么?
在无服务器计算中,“冷启动”是指函数在长时间未被调用后开始处理所需的时间。在 AI 推理中,加载模型可能需要数分钟或更长时间——例如网易游戏(NetEase Games)的某项工作负载,其加载时间竟长达 42 分钟。当计算机在关机后开机时,可能需要时间才能达到其最佳性能。
任何开始接触无服务器架构的人对冷启动都不陌生。它们会影响应用程序的性能和可用性,尤其是在要求超时时间尽可能短的交互中。
冷启动何时发生?
冷启动在以下情况下发生。
- 首次调用: 这发生在 在部署应用程序或更新代码后首次调用函数时。
- 扩展 从零开始: 当一个函数从没有被调用过,经过一段时间的非运行后开始接收调用时。
- 资源重新分配: 当云服务提供商 重新分配资源 或者函数的基底迁移到其他主机时,可能会导致冷函数实例。
- 超时或过期: 如果函数实例达到最大执行时间或超过其空闲时间,则可以终止该实例,这意味着如果再次调用它,它将重新开始。
热启动则具有相反的效果:请求到达仍在运行的实例,从而跳过了设置步骤。
Lambda 冷启动需要多长时间?
Lambda 冷启动的持续时间会因多种因素而异,例如:
- 函数大小和依赖项: 函数越大,涉及的依赖项就越多,典型的冷启动时间就越长。
- 运行时环境: 选择的初始运行时环境(例如,Node.js、Python、Java等)必然会决定冷启动时间等因素,因为初始化和加载过程存在差异。
- 云服务提供商优化: 随着时间的推移,云服务提供商不断提供优化措施,以尽可能缩短冷启动时间;然而,这并不是固定的或可预测的。
总体而言,Lambda 的冷启动时间在 100 毫秒以下到 1 秒以上. 检查您自己的函数 ,观察冷启动持续时间如何反映您的函数和环境的需求,以获得准确的洞察。
| 因素 | 对冷启动的影响 | 注意事项 |
|---|---|---|
| 函数配置 | ||
| 函数大小 | 更大的函数会导致更长的冷启动时间 | 最小化包大小并移除未使用的依赖项 |
| 依赖项 | 更多的依赖项会增加初始化时间 | 使用摇树优化和代码拆分来优化加载 |
| 运行时环境 | ||
| 运行时选择 | 不同的运行时具有不同的初始化时间 | 根据应用程序需求和冷启动性能选择运行时 |
| 内存分配 | 更高的内存分配可以减少冷启动时间 | 成本和性能要求之间的平衡 |
| 执行上下文 | ||
| 首次调用 | 最长冷启动持续时间 | 考虑为关键功能预热请求 |
| 后续调用 | 如果在执行窗口内,则不会冷启动 | 使用预配置并发以获得一致的性能 |
如何减少 Lambda 中的冷启动时间?
通过以下方式缩短 Lambda 的冷启动时间:
- 函数优化:
- 删除未使用的代码和依赖项以减小函数大小。
- 应使用 Tree-shaking 或代码分割方法来减少初始化期间加载的代码量。
- 改进包分发和包依赖项解析工作流程。
- 快照恢复: Lambda SnapStart对于 Java 等运行环境,提供已初始化函数的已保存快照,而不是重新启动它,以 减少延迟.
- 预配置并发:
配置预置并发以保持特定数量的函数实例处于活动状态,以便传入的请求不会导致这些实例冷启动。
- 预热请求:
有时,您需要向函数发送一些虚拟请求,以便在真实用户请求到达时它们已预热。
- 异步处理:
对于非关键操作,最好通过引入其他异步模式来重构用户请求,使其脱离函数,从而最大限度地减少冷启动的影响。
- 缓存:
引入适当的缓存机制,存储频繁访问的数据或预先计算的结果,以减少函数调用次数,从而减少冷启动的发生。 在启动时预取函数加载的工作原理相同:网易游戏通过缓存将一个 AI 模型的加载时间从 42 分钟缩短到 14 分钟,然后通过预取缩短到 3 分钟(CNCF, 2026).
结论
在无服务器架构中,冷启动可以被认为是该模型固有的缺点,但仍然可以详细评估其概述、影响以及为您的程序和用户感知质量而最大限度地减少冷启动的方法。有几个要点需要记住:主动优化、永久监控以及根据应用程序的特定需求进行必要的更改。