标签：Autoscaling

共 2 篇文章

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施