文章

持续沉淀可被搜索、可被引用、可长期复用的内容。共 172 篇，第 17 / 18 页。

• Chunked Prefill Scheduling：LLM 推理调度为什么不能只靠 Continuous Batching

  本文系统拆解 Chunked Prefill Scheduling 的工程原理、continuous batching 的局限、TTFT 与 ITL 的指标取舍、token budget 调优、公平性控制和生产上线 Checklist，帮助判断 LLM 推理系统如何降低长 prompt 对流式输出的干扰。

  2026/06/26 LLM Inference / Chunked Prefill / Continuous Batching / vLLM / AI Infrastructure

• Prefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开

  本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。

  2026/06/25 LLM Inference / Prefill Decode / vLLM / SGLang / AI Infrastructure / KV Cache / TTFT / ITL / Goodput

• Structured Outputs + Tool Calling：生产 Agent 为什么需要两阶段约束设计

  从 OpenAI、Anthropic、vLLM 与最新研究出发，拆解结构化输出、工具调用和约束解码的工程边界，说明为什么生产级 Agent 应采用两阶段约束设计，避免 JSON Schema 抑制工具调用。

  2026/06/25 LLM Engineering / Structured Outputs / Function Calling / AI Agent / Constrained Decoding

• Speculative Decoding 面试与工程实践：让大模型推理更快的关键机制

  本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。

  2026/06/25 LLM / Speculative Decoding / Inference Optimization / vLLM / 面试复习

• KV Cache Engineering：LLM 推理真正的内存瓶颈，不只是模型权重

  本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。

  2026/06/25 LLM Inference / KV Cache / PagedAttention / vLLM / AI Infrastructure

• 开源与闭源大模型选择指南：LLaMA 3 vs GPT-4o 选型实践

  从成本、隐私安全、定制化能力和推理性能等多维度对比开源模型（如 LLaMA、Qwen）与商业闭源模型（如 OpenAI、Claude），为企业智能化转型提供决策依据。

  2026/06/25 模型选型 / 开源大模型 / 企业实践

• Context Engineering：AI Agent 生产化的核心不是提示词，而是上下文预算

  本文结合 Anthropic、OpenAI 与 GitHub 工程实践，拆解 AI Agent 上下文工程理念：为什么生产级 Agent 的关键不是更聪明的提示词，而是把上下文窗口当成稀缺资源来管理，涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。

  2026/06/25 AI Agent / Context Engineering / MCP / Function Calling / LLM Engineering

• AI Agent（智能体）的崛起：从单体模型到自主执行的工作流

  分析 AI Agent 的核心要素（规划、记忆、工具使用），解析 LangChain、CrewAI 与 AutoGPT 等主流智能体框架，展望自主工作流的未来。

  2026/06/25 AI Agent / 智能体 / 未来趋势

• Batch Speculative Decoding：生产级 LLM 推理加速不能只看吞吐量

  系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。

  2026/06/25 LLM Inference / Speculative Decoding / KV Cache / vLLM / AI Infrastructure

• 检索增强生成 (RAG) 架构深度解析与落地挑战

  解析 RAG 的技术架构与优化路径，从文档分块、向量化检索、重排(Rerank)到模型生成，探讨如何解决企业私有知识库的问答准确率瓶颈。

  2026/06/25 RAG / 知识库 / 大模型