探索大模型与智能体的未来落地实践

最新文章

• LLM 2:4 结构化稀疏生产实战：用 Prune Gate、Sparse Tactic Audit 与 Dense Fallback 把剪枝变成真实加速

  深入剖析大语言模型 2:4 结构化稀疏上线落地工程，详解 Prune Gate 质量门禁、Sparse Tactic 审计、GPU 稀疏内核覆盖率分析与 Dense Fallback 降级策略，助你将剪枝真正转化为推理吞吐与时延收益。

  2026/09/22 LLM Serving / Structured Sparsity / GPU Inference / Model Compression / TensorRT

• LLM Spot GPU Serving 生产实战：用 Interruption Notice、Drain Budget 与 Warm Replacement 降低抢占损失

  Spot GPU 能显著降低大模型推理基础设施成本，但抢占机制会直接切断流式连接并丢失显存状态。本文深入解析生产级 Spot LLM Serving 架构，详解中断信号感知、Drain Budget 计算、Drain 与 Warm Replacement 并行拉起、流式重试契约与故障演练，构建高可用的低成本推理体系。

  2026/09/21 llm-serving / spot-gpu / kubernetes / sre / inference-reliability

• 实时语音 Agent 轮次治理生产实战：用 Semantic VAD、Barge-in Gate 与 Endpointing SLO 避免抢话和长等待

  实时语音 Agent 的核心体验瓶颈往往不在大模型生成速度，而在轮次截断与打断判定。本文深度拆解 Semantic VAD 语义端点检测、Barge-in Gate 误打断防护、上下文音频截断机制，并建立端点控制 SLO 评估体系，提供生产级落地状态机与工程配置规范。

  2026/09/21 Voice Agent / Realtime API / Semantic VAD / Barge-in / LLM Serving

• LLM Serving CUDA Graph 生产实战：用 Shape Buckets、Piecewise Capture 与 Warmup Plan 降低 Kernel Launch 抖动

  CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

  2026/09/03 llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

• LLM 容量压测生产实战：用 Timed Trace、Burstiness 与 Tail-SLO Gate 找到真实安全 QPS

  LLM 容量压测不能只跑固定并发和平均延迟。本文结合 vLLM、AIPerf 与 MLPerf，讲清 Timed Trace、突发流量、尾延迟门禁与安全 QPS 的生产评估方法，教你找到上线前真实可靠的容量拐点。

  2026/09/02 LLM Serving / 容量压测 / Benchmark / 尾延迟 / Safe QPS / Timed Trace / Burstiness / Capacity Planning

• Agent Durable Execution 生产实战：用 Checkpoint、幂等副作用与 Replay Contract 防止长任务重复执行

  长任务 Agent 恢复时最怕重复调用工具、重复写库和重复发消息。本文结合 LangGraph、Temporal 与 Microsoft Agent Framework，讲清检查点边界、幂等副作用、确定性回放与安全恢复的生产设计，给出可落地的 operation_id、side-effect ledger 与状态机方案。

  2026/09/02 Agent / Durable Execution / Workflow / 可靠性 / 幂等 / Replay Contract