标签：llm serving

共 50 篇文章

• LLM 2:4 结构化稀疏生产实战：用 Prune Gate、Sparse Tactic Audit 与 Dense Fallback 把剪枝变成真实加速

  深入剖析大语言模型 2:4 结构化稀疏上线落地工程，详解 Prune Gate 质量门禁、Sparse Tactic 审计、GPU 稀疏内核覆盖率分析与 Dense Fallback 降级策略，助你将剪枝真正转化为推理吞吐与时延收益。

  2026/09/22 LLM Serving / Structured Sparsity / GPU Inference / Model Compression / TensorRT

• LLM Spot GPU Serving 生产实战：用 Interruption Notice、Drain Budget 与 Warm Replacement 降低抢占损失

  Spot GPU 能显著降低大模型推理基础设施成本，但抢占机制会直接切断流式连接并丢失显存状态。本文深入解析生产级 Spot LLM Serving 架构，详解中断信号感知、Drain Budget 计算、Drain 与 Warm Replacement 并行拉起、流式重试契约与故障演练，构建高可用的低成本推理体系。

  2026/09/21 llm-serving / spot-gpu / kubernetes / sre / inference-reliability

• 实时语音 Agent 轮次治理生产实战：用 Semantic VAD、Barge-in Gate 与 Endpointing SLO 避免抢话和长等待

  实时语音 Agent 的核心体验瓶颈往往不在大模型生成速度，而在轮次截断与打断判定。本文深度拆解 Semantic VAD 语义端点检测、Barge-in Gate 误打断防护、上下文音频截断机制，并建立端点控制 SLO 评估体系，提供生产级落地状态机与工程配置规范。

  2026/09/21 Voice Agent / Realtime API / Semantic VAD / Barge-in / LLM Serving

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• LLM 容量压测生产实战：用 Timed Trace、Burstiness 与 Tail-SLO Gate 找到真实安全 QPS

  LLM 容量压测不能只跑固定并发和平均延迟。本文结合 vLLM、AIPerf 与 MLPerf，讲清 Timed Trace、突发流量、尾延迟门禁与安全 QPS 的生产评估方法，教你找到上线前真实可靠的容量拐点。

  2026/09/02 LLM Serving / 容量压测 / Benchmark / 尾延迟 / Safe QPS / Timed Trace / Burstiness / Capacity Planning

• MoE 推理部署生产实战：用 Expert Parallel、EPLB 与 DeepEP 治理专家倾斜与跨卡通信

  MoE 上线后，瓶颈常从算力转向专家倾斜与 All-to-All 通信。本文结合 vLLM、TensorRT-LLM 与 DeepEP，系统讲解 Expert Parallel、EPLB 与冗余专家的落地方法，并给出分阶段部署、可观测指标与上线检查清单。

  2026/09/01 llm-serving / mixture-of-experts / expert-parallel / vllm / deepep / eplb / 推理部署

• LLM 权重量化上线生产实战：用 Calibration Set、FP8/W4A16 双轨基准与 Quality Gate 防止质量回退

  大模型权重量化不能只看显存下降。本文结合 vLLM、LLM Compressor 与 TensorRT-LLM，给出校准集选择、FP8/W4A16 双轨基准、硬件匹配、质量门禁与灰度回滚的完整生产上线方法。

  2026/08/31 llm-serving / quantization / fp8 / awq / model-deployment

• LLM 冷启动治理生产实战：用 Local NVMe Cache、Weight Streaming 与 Warm Pool 缩短模型拉起时间

  大模型服务扩容后迟迟不能 Ready，瓶颈常在模型权重下载、磁盘读取与 GPU 装载。本文从本地 NVMe 缓存、权重流式加载、Warm Pool 与模型本地性感知调度出发，给出一套可落地的 LLM 冷启动治理方案。

  2026/08/28 LLM Serving / Cold Start / KServe / vLLM / GPU Inference

• 多租户 LLM 推理公平调度生产实战：用 Token Cost Accounting、VTC 与 Priority Lanes 治理 Noisy Neighbor

  面向共享 GPU 的多租户大模型推理服务，系统说明为什么按请求数限流不足，并给出基于 Token 成本计量、VTC 公平调度、优先级通道与租户配额的落地方案，兼顾吞吐、隔离与尾延迟。

  2026/08/27 llm-serving / multi-tenancy / fair-scheduling / vtc / gpu-inference

• LLM Serving 过载保护生产实战：用 Queue SLO、Backpressure 与弹性扩容守住尾延迟

  面向生产级大模型推理服务，系统讲解如何用队列等待时间、TTFT SLO、Backpressure 与弹性扩容协同应对突发流量，避免扩容滞后、尾延迟失控和无限排队，并给出关键指标、参数配置、上线检查清单与常见误区。

  2026/08/26 llm-serving / autoscaling / backpressure / slo / vllm

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM

• LLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移

  同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。

  2026/07/15 LLM Serving / Reproducibility / vLLM / CUDA / MLOps / Batch Invariance / 确定性推理 / Seed 契约

• LLM GPU 能效治理生产实战：用分阶段 Clock Lock、Joules/Token 与热降频门禁守住吞吐

  只给 GPU 设置 Power Cap，往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁，在不破坏延迟 SLO 的前提下治理推理能效。

  2026/07/13 LLM Serving / GPU Energy Efficiency / NVIDIA DCGM / Clock Lock / Performance Engineering

• LLM 分布式推理通信故障治理：用 NCCL RAS、Flight Recorder 与拓扑基线定位集体通信卡死

  分布式大模型推理发生 NCCL 集体通信卡死时，往往只剩模糊的超时日志。本文介绍如何用 RAS、Flight Recorder、拓扑基线和异常 Rank 定位，建立可观测、可回滚的通信上线门禁。

  2026/07/13 LLM Serving / NCCL / Distributed Inference / GPU / Reliability

• LLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理

  面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。

  2026/07/12 LLM Serving / NVIDIA MIG / GPU Multi-Tenancy / Kubernetes / Inference Infrastructure

• LLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动

  本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。

  2026/07/12 LLM Serving / CUDA / NUMA / GPU Performance / PyTorch

• LLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInfer

  大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。

  2026/07/12 LLM Serving / FlashAttention / FlashInfer / GPU Kernel / Inference Engineering

• LLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移

  本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。

  2026/07/12 LLM Serving / Reproducibility / Batch Invariance / GPU Inference / MLOps

• LLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐

  MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。

  2026/07/11 LLM Serving / Mixture of Experts / Expert Parallel / GPU Inference / Distributed Systems

• LLM GPU 显存碎片治理生产实战：用 Memory Snapshot、Allocator 调优与 OOM 门禁稳住推理服务

  大模型推理服务常在显存尚未耗尽时因碎片化触发 OOM。本文结合 Memory Snapshot、动态 Shape、分配器调优和 vLLM 显存预算，给出可观测、可验证、可回滚的生产治理方案。

  2026/07/11 LLM Serving / CUDA / GPU Memory / PyTorch / vLLM

• LLM Serverless GPU 冷启动生产实战：用权重预取、Warm Pool 与 Scale-to-Zero 平衡成本和 TTFT

  本文从 LLM Serverless GPU 推理的冷启动问题入手，深入讲解权重预取、镜像预热、Warm Pool、Scale-to-Zero、TTFT 监控和上线门禁，帮助工程团队在 GPU 成本与首 token 延迟之间建立可控的精细化平衡。

  2026/07/10 LLM Serving / Serverless GPU / Cold Start / TTFT / Cost Optimization

• LLM Streaming 输出生产实战：用 SSE 事件边界、背压与断流恢复稳定实时响应

  本文从大模型流式输出的生产故障入手，深入讲解 SSE 事件边界、背压控制、断流恢复、代理超时与前端渲染优化，帮助工程团队构建可靠、可观测的流式响应链路，稳定实时交互体验。

  2026/07/10 LLM Serving / Streaming / SSE / Backpressure / Reliability / Gateway / Engineering

• LLM LoRA Adapter 缓存生产实战：用热度分层、冷启动预算与驱逐策略稳住多租户微调服务

  在多租户微调服务中，LoRA Adapter 数量、版本与租户数持续增长，单纯全量预加载已不可行。本文从 Adapter Registry、热度分层、冷启动预算、驱逐策略到上线检查，系统讲解如何构建生产级 Adapter 缓存治理体系，帮助团队在共享基础模型池中稳定服务大量定制模型。

  2026/07/09 LLM Serving / LoRA / Adapter Cache / Multi Tenant / Model Serving / GPU / Fine Tuning / RAG / vLLM

• LLM Serving 自动伸缩生产实战：用队列水位、P95 延迟与 GPU 利用率安全扩缩容

  本文深入探讨 LLM Serving 生产环境的自动伸缩方案，以队列水位、P95 延迟、Token 吞吐和 GPU 利用率构建多层扩缩容控制闭环，融入 warm pool、admission control、成本边界与 cooldown 策略，帮助团队在成本约束下稳定满足推理 SLO。

  2026/07/09 LLM Serving / 自动伸缩 / GPU 推理 / P95 延迟 / SLO / 扩缩容

• LLM Tensor Parallel 推理部署生产实战：用并行度、NCCL 与拓扑感知降低跨卡抖动

  本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。

  2026/07/07 LLM Serving / Tensor Parallel / NCCL / GPU Inference

• LLM Chat Template 生产治理：用模板版本、Token 计数与回放测试避免模型切换翻车

  深入讲解大模型 Chat Template 的生产级治理方法，覆盖模板版本管理、特殊 token 处理、Token 精确计数、工具调用渲染及回放测试，帮助团队在模型切换时避免质量回退与成本失控。

  2026/07/07 LLM Serving / Chat Template / Tokenizer / Model Migration

• LLM GPU 故障自愈生产实战：用健康探针、节点隔离与请求排空降低推理中断

  LLM 推理服务如何应对 GPU 异常？本文讲解 DCGM 健康检查、Kubernetes 四层探针设计、节点隔离、请求排空、CUDA OOM 分级恢复与灰度验证，帮助团队构建 GPU 故障自愈闭环，降低推理中断与重试风暴。

  2026/07/06 LLM Serving / GPU Reliability / Kubernetes / DCGM / Inference Ops / GPU 故障自愈

• LLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量

  本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。

  2026/07/05 LLM Serving / Capacity Planning / GPU Inference / SLO / vLLM / Token Throughput

• LLM LoRA 适配器缓存生产实战：用冷热分层与驱逐策略降低动态加载抖动

  本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。

  2026/07/05 LLM Serving / LoRA / Adapter Cache / Inference Infrastructure / 冷热分层 / 多租户 / 动态加载 / 驱逐策略

• LLM Streaming Backpressure 生产实战：用取消、超时与流控稳定长输出体验

  本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。

  2026/07/03 llm-serving / streaming / backpressure / production

• VLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理

  本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。

  2026/07/02 VLM / LLM Serving / Multimodal AI / 视觉Token预算 / 多模态推理 / Inference / Vision Token / vLLM / SGLang

• Serverless GPU 推理冷启动治理：用 Warm Pool 与分阶段预热降低首次延迟

  深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。

  2026/07/01 LLM Serving / Serverless GPU / Cold Start / Warm Pool / Inference Optimization / GPU 推理 / 冷启动优化

• Multi-LoRA 生产实战：用适配器缓存与冷热分层稳定多租户推理

  从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。

  2026/07/01 LLM Serving / LoRA / Inference / GPU / Multi Tenant / Adapter Cache / vLLM

• LLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制

  大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。

  2026/07/01 LLM Serving / Autoscaling / SLO / Admission Control / 过载保护 / 推理基础设施

• Continuous Batching 生产实战：用动态批处理提升 LLM Serving 吞吐

  本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。

  2026/07/01 LLM Serving / Continuous Batching / Inference Optimization / GPU / vLLM

• PagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。

  2026/07/01 大模型 / LLM Serving / PagedAttention / KV Cache / 推理优化

• Speculative Decoding 生产实战：用 Draft-Verify 机制降低大模型解码延迟

  系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。

  2026/07/01 大模型 / 推理优化 / Speculative Decoding / LLM Serving / 工程实践

• Prefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突

  系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。

  2026/07/01 大模型 / 推理加速 / LLM Serving / KV Cache / 工程实践

• Continuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPU

  本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。

  2026/07/01 LLM Serving / Continuous Batching / vLLM / KV Cache / 性能工程 / 推理优化 / GPU 调度

• Prefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本

  系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。

  2026/06/30 大模型 / LLM Serving / KV Cache / Prefix Caching / 推理优化 / TTFT / vLLM / Prompt Caching

• PagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐

  系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。

  2026/06/30 llm-serving / pagedattention / kv-cache / inference

• Prefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南

  本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。

  2026/06/30 LLM Serving / KV Cache / RAG / Agent Infrastructure / Prefix Caching / 推理优化

• Attention Sinks 实战：用 StreamingLLM 做长会话持续生成

  本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。

  2026/06/30 LLM Serving / StreamingLLM / KV Cache / Long Context

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• Continuous Batching 实战：为什么 LLM 服务不能用传统固定批处理

  从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。

  2026/06/30 LLM Serving / Continuous Batching / PagedAttention / Inference Optimization

• MoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理

  MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

  2026/06/30 LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization

• Multi-LoRA Serving 实战：一套基座模型如何服务多个业务适配器

  从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。

  2026/06/30 LLM Serving / LoRA / PEFT / 推理优化

• Chunked Prefill 实战：长上下文推理的延迟治理

  本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。

  2026/06/29 LLM Serving / Chunked Prefill / Continuous Batching / Inference Optimization

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。

  2026/06/29 LLM Serving / Prefill-Decode / KV Cache / 推理优化 / 长上下文 / 延迟治理

• Prefill-Decode 解耦实战：长上下文大模型服务的延迟治理

  长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

  2026/06/29 LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent