标签：vllm

共 30 篇文章

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• MoE 推理部署生产实战：用 Expert Parallel、EPLB 与 DeepEP 治理专家倾斜与跨卡通信

  MoE 上线后，瓶颈常从算力转向专家倾斜与 All-to-All 通信。本文结合 vLLM、TensorRT-LLM 与 DeepEP，系统讲解 Expert Parallel、EPLB 与冗余专家的落地方法，并给出分阶段部署、可观测指标与上线检查清单。

  2026/09/01 llm-serving / mixture-of-experts / expert-parallel / vllm / deepep / eplb / 推理部署

• LLM 冷启动治理生产实战：用 Local NVMe Cache、Weight Streaming 与 Warm Pool 缩短模型拉起时间

  大模型服务扩容后迟迟不能 Ready，瓶颈常在模型权重下载、磁盘读取与 GPU 装载。本文从本地 NVMe 缓存、权重流式加载、Warm Pool 与模型本地性感知调度出发，给出一套可落地的 LLM 冷启动治理方案。

  2026/08/28 LLM Serving / Cold Start / KServe / vLLM / GPU Inference

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM

• LLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移

  同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。

  2026/07/15 LLM Serving / Reproducibility / vLLM / CUDA / MLOps / Batch Invariance / 确定性推理 / Seed 契约

• LLM GPU 显存碎片治理生产实战：用 Memory Snapshot、Allocator 调优与 OOM 门禁稳住推理服务

  大模型推理服务常在显存尚未耗尽时因碎片化触发 OOM。本文结合 Memory Snapshot、动态 Shape、分配器调优和 vLLM 显存预算，给出可观测、可验证、可回滚的生产治理方案。

  2026/07/11 LLM Serving / CUDA / GPU Memory / PyTorch / vLLM

• LLM CUDA Graph 生产实战：用 Shape Bucket、分段捕获与 Eager 回退降低解码启动开销

  大模型解码阶段 CPU Kernel Launch 开销常被忽视。本文深入讲解 CUDA Graph 捕获与重放机制，结合 Shape Bucket 设计、分段捕获、预热状态机和 Eager 回退策略，给出可落地的生产方案，帮助团队降低推理尾延迟与 P99 抖动。

  2026/07/11 LLM 推理服务 / CUDA Graph / GPU 推理 / vLLM / 性能优化

• LLM LoRA Adapter 缓存生产实战：用热度分层、冷启动预算与驱逐策略稳住多租户微调服务

  在多租户微调服务中，LoRA Adapter 数量、版本与租户数持续增长，单纯全量预加载已不可行。本文从 Adapter Registry、热度分层、冷启动预算、驱逐策略到上线检查，系统讲解如何构建生产级 Adapter 缓存治理体系，帮助团队在共享基础模型池中稳定服务大量定制模型。

  2026/07/09 LLM Serving / LoRA / Adapter Cache / Multi Tenant / Model Serving / GPU / Fine Tuning / RAG / vLLM

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• VLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理

  本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。

  2026/07/02 VLM / LLM Serving / Multimodal AI / 视觉Token预算 / 多模态推理 / Inference / Vision Token / vLLM / SGLang

• Multi-LoRA 生产实战：用适配器缓存与冷热分层稳定多租户推理

  从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。

  2026/07/01 LLM Serving / LoRA / Inference / GPU / Multi Tenant / Adapter Cache / vLLM

• Continuous Batching 生产实战：用动态批处理提升 LLM Serving 吞吐

  本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。

  2026/07/01 LLM Serving / Continuous Batching / Inference Optimization / GPU / vLLM

• KV Cache 量化生产实战：用 FP8/INT8 降低长上下文推理显存压力

  系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。

  2026/07/01 大模型 / 推理优化 / KV Cache / 量化 / LLMOps / vLLM / TensorRT-LLM

• Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU

  本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。

  2026/07/01 LLM Serving / Continuous Batching / vLLM / KV Cache / 性能工程 / 推理优化 / GPU 调度

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• Speculative Decoding 实战：用 EAGLE 与 Draft Model 降低 LLM 单用户延迟

  从推理服务视角深入拆解 Speculative Decoding 的草稿生成、并行校验、接受率与上线指标，系统对比 Draft Model、Medusa、EAGLE 等主流方案，结合灰度验证与回滚清单，帮助 LLM 工程团队将投机解码从论文技巧落地为稳定的生产优化手段。

  2026/06/30 LLM Inference / Speculative Decoding / vLLM / EAGLE

• KV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理

  KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。

  2026/06/29 LLM Inference / KV Cache / Prefix Caching / vLLM / SGLang

• Speculative Decoding 生产落地：为什么低 QPS 加速，高负载反而变慢

  从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。

  2026/06/29 LLM Inference / Speculative Decoding / vLLM / TensorRT-LLM / 性能优化

• 大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍

  从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。

  2026/06/29 LLM Inference / Quantization / vLLM / TensorRT-LLM / Model Serving

• PagedAttention 实战：为什么大模型服务的瓶颈不是算力，而是 KV Cache 调度

  从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。

  2026/06/29 LLM Inference / PagedAttention / KV Cache / vLLM / 大模型工程

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：LLM 推理成本真正卡在显存里

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/28 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• KV Cache 优化实战：让大模型推理更快、更省显存

  系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。

  2026/06/26 LLM Inference / KV Cache / vLLM / PagedAttention / Optimization

• LLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南

  系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。

  2026/06/26 LLM / Inference / KV Cache / vLLM / PagedAttention / 大模型推理优化

• Chunked Prefill Scheduling：LLM 推理调度为什么不能只靠 Continuous Batching

  本文系统拆解 Chunked Prefill Scheduling 的工程原理、continuous batching 的局限、TTFT 与 ITL 的指标取舍、token budget 调优、公平性控制和生产上线 Checklist，帮助判断 LLM 推理系统如何降低长 prompt 对流式输出的干扰。

  2026/06/26 LLM Inference / Chunked Prefill / Continuous Batching / vLLM / AI Infrastructure

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput

• Speculative Decoding 面试与工程实践：让大模型推理更快的关键机制

  本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。

  2026/06/25 LLM / Speculative Decoding / Inference Optimization / vLLM / 面试复习

• KV Cache Engineering：LLM 推理真正的内存瓶颈，不只是模型权重

  本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。

  2026/06/25 LLM Inference / KV Cache / PagedAttention / vLLM / AI Infrastructure

• Batch Speculative Decoding：生产级 LLM 推理加速不能只看吞吐量

  系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。

  2026/06/25 LLM Inference / Speculative Decoding / KV Cache / vLLM / AI Infrastructure