文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 14 / 18 页。

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• Continuous Batching 实战：为什么 LLM 服务不能用传统固定批处理

  从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。

  2026/06/30 LLM Serving / Continuous Batching / PagedAttention / Inference Optimization

• MCP Tool Server 安全治理：从接入便利到最小权限执行

  MCP 让大模型连接工具变得统一，但也放大了权限、身份、审计与提示注入风险。本文从协议边界、授权模型、执行隔离和上线检查出发，整理一套可落地的 MCP Tool Server 安全治理方案。

  2026/06/30 LLM Agent / MCP / Tool Calling / AI Security / Engineering

• MoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理

  MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。

  2026/06/30 LLM Serving / Mixture of Experts / Expert Parallelism / Inference Optimization

• Multi-LoRA Serving 实战：一套基座模型如何服务多个业务适配器

  从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。

  2026/06/30 LLM Serving / LoRA / PEFT / 推理优化

• Chunked Prefill 实战：长上下文推理的延迟治理

  本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。

  2026/06/29 LLM Serving / Chunked Prefill / Continuous Batching / Inference Optimization

• Prompt Caching 实战：长上下文 Agent 的成本与延迟治理

  深入解析 Prompt Caching 的核心原理与工程实践，从前缀稳定性、缓存边界到 Agent 场景落地，提供可复现的优化方案与生产检查清单，帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。

  2026/06/29 LLM / Prompt Caching / AI Agent / Cost Optimization / Context Engineering

• 结构化输出不是 JSON Prompt：Constrained Decoding 的工程边界

  本文从 JSON Schema、约束解码、vLLM 与 Outlines 等工程实现出发，解释结构化输出如何提升可靠性，以及上线时需要关注的延迟、Schema 设计与异常兜底。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema

• KV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理

  KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。

  2026/06/29 LLM Inference / KV Cache / Prefix Caching / vLLM / SGLang

• Speculative Decoding 生产落地：为什么低 QPS 加速，高负载反而变慢

  从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。

  2026/06/29 LLM Inference / Speculative Decoding / vLLM / TensorRT-LLM / 性能优化