标签：inference optimization

共 8 篇文章

  • CUDA Graph 可降低大模型推理的启动开销，但动态批次、形状变化与首次捕获也会制造延迟抖动。本文结合 vLLM 与 TensorRT-LLM，讲清形状分桶、分段捕获、预热策略、显存权衡与生产回退门禁，帮你把 GPU 未满载却延迟下不去的 Host 侧瓶颈压下去。

    llm-serving / cuda-graph / inference-optimization / vllm / tensorrt-llm

  • 深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。

    LLM Serving / Serverless GPU / Cold Start / Warm Pool / Inference Optimization / GPU 推理 / 冷启动优化

  • 本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。

    LLM Serving / Continuous Batching / Inference Optimization / GPU / vLLM

  • MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

    LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization

  • 本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。

    LLM Serving / Chunked Prefill / Continuous Batching / Inference Optimization

  • 长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。

    LLM Serving / Prefill Decode / KV Cache / Inference Optimization / 长上下文 / 尾延迟 / RAG / Agent
特效配置