文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 1 / 18 页。

• LLM 2:4 结构化稀疏生产实战：用 Prune Gate、Sparse Tactic Audit 与 Dense Fallback 把剪枝变成真实加速

  深入剖析大语言模型 2:4 结构化稀疏上线落地工程，详解 Prune Gate 质量门禁、Sparse Tactic 审计、GPU 稀疏内核覆盖率分析与 Dense Fallback 降级策略，助你将剪枝真正转化为推理吞吐与时延收益。

  2026/09/22 LLM Serving / Structured Sparsity / GPU Inference / Model Compression / TensorRT

• LLM Spot GPU Serving 生产实战：用 Interruption Notice、Drain Budget 与 Warm Replacement 降低抢占损失

  Spot GPU 能显著降低大模型推理基础设施成本，但抢占机制会直接切断流式连接并丢失显存状态。本文深入解析生产级 Spot LLM Serving 架构，详解中断信号感知、Drain Budget 计算、Drain 与 Warm Replacement 并行拉起、流式重试契约与故障演练，构建高可用的低成本推理体系。

  2026/09/21 llm-serving / spot-gpu / kubernetes / sre / inference-reliability

• 实时语音 Agent 轮次治理生产实战：用 Semantic VAD、Barge-in Gate 与 Endpointing SLO 避免抢话和长等待

  实时语音 Agent 的核心体验瓶颈往往不在大模型生成速度，而在轮次截断与打断判定。本文深度拆解 Semantic VAD 语义端点检测、Barge-in Gate 误打断防护、上下文音频截断机制，并建立端点控制 SLO 评估体系，提供生产级落地状态机与工程配置规范。

  2026/09/21 Voice Agent / Realtime API / Semantic VAD / Barge-in / LLM Serving

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• LLM 容量压测生产实战：用 Timed Trace、Burstiness 与 Tail-SLO Gate 找到真实安全 QPS

  LLM 容量压测不能只跑固定并发和平均延迟。本文结合 vLLM、AIPerf 与 MLPerf，讲清 Timed Trace、突发流量、尾延迟门禁与安全 QPS 的生产评估方法，教你找到上线前真实可靠的容量拐点。

  2026/09/02 LLM Serving / 容量压测 / Benchmark / 尾延迟 / Safe QPS / Timed Trace / Burstiness / Capacity Planning

• Agent Durable Execution 生产实战：用 Checkpoint、幂等副作用与 Replay Contract 防止长任务重复执行

  长任务 Agent 恢复时最怕重复调用工具、重复写库和重复发消息。本文结合 LangGraph、Temporal 与 Microsoft Agent Framework，讲清检查点边界、幂等副作用、确定性回放与安全恢复的生产设计，给出可落地的 operation_id、side-effect ledger 与状态机方案。

  2026/09/02 Agent / Durable Execution / Workflow / 可靠性 / 幂等 / Replay Contract

• MoE 推理部署生产实战：用 Expert Parallel、EPLB 与 DeepEP 治理专家倾斜与跨卡通信

  MoE 上线后，瓶颈常从算力转向专家倾斜与 All-to-All 通信。本文结合 vLLM、TensorRT-LLM 与 DeepEP，系统讲解 Expert Parallel、EPLB 与冗余专家的落地方法，并给出分阶段部署、可观测指标与上线检查清单。

  2026/09/01 llm-serving / mixture-of-experts / expert-parallel / vllm / deepep / eplb / 推理部署

• Agent Tool Contract 演进生产实战：用 Schema Fingerprint、Compatibility Matrix 与 Shadow Replay 防止工具升级故障

  Agent 工具升级最危险的不是接口报错，而是参数结构与返回语义变化后，模型仍按旧契约调用。本文结合 MCP 最新规范，给出 Schema 指纹、兼容矩阵、影子回放、灰度门禁与快速回滚方法，帮助团队在灰度窗口内保证新旧客户端与服务端互不打坏。

  2026/09/01 LLM Agent / Tool Calling / MCP / JSON Schema / Contract Testing

• 实时语音 Agent 生产实战：用 Turn Detection、Two-Pass EOU 与 Barge-in 压缩对话空白时间

  实时语音 Agent 的卡顿往往不只是模型慢，真正的空白还来自端点检测、停顿确认、音频缓冲与打断处理。本文结合 LiveKit、NVIDIA Riva 与 Deepgram，讲解 Turn Detection、Two-Pass EOU 与 Barge-in 的生产治理方法，并给出分段延迟指标与落地调优顺序，帮助你压缩用户感知的对话空白。

  2026/08/31 语音Agent / 实时语音 / LLM / 延迟优化 / 生产工程

• LLM 权重量化上线生产实战：用 Calibration Set、FP8/W4A16 双轨基准与 Quality Gate 防止质量回退

  大模型权重量化不能只看显存下降。本文结合 vLLM、LLM Compressor 与 TensorRT-LLM，给出校准集选择、FP8/W4A16 双轨基准、硬件匹配、质量门禁与灰度回滚的完整生产上线方法。

  2026/08/31 llm-serving / quantization / fp8 / awq / model-deployment