标签：llm

共 30 篇文章

• 实时语音 Agent 生产实战：用 Turn Detection、Two-Pass EOU 与 Barge-in 压缩对话空白时间

  实时语音 Agent 的卡顿往往不只是模型慢，真正的空白还来自端点检测、停顿确认、音频缓冲与打断处理。本文结合 LiveKit、NVIDIA Riva 与 Deepgram，讲解 Turn Detection、Two-Pass EOU 与 Barge-in 的生产治理方法，并给出分段延迟指标与落地调优顺序，帮助你压缩用户感知的对话空白。

  2026/08/31 语音Agent / 实时语音 / LLM / 延迟优化 / 生产工程

• LLM Prompt 发布治理生产实战：用不可变版本、环境指针与灰度发布实现可回滚

  Prompt 会直接改变模型行为，却常被当作普通配置发布。本文结合主流平台实践，给出不可变版本、环境指针、灰度流量、变更校验、指标观察与快速回滚的完整生产发布治理方案，帮助团队安全上线并定位问题。

  2026/08/29 LLM / Prompt 工程 / 发布治理 / LLM Gateway / DevOps

• Embedding 模型升级生产实战：用双写、蓝绿向量索引与 Alias 原子切换实现零停机迁移

  Embedding 模型升级不只是替换模型名。本文从生产迁移角度拆解双写、后台重嵌入、蓝绿向量索引、Alias 原子切换、回滚窗口与增量更新，避免新旧向量混用导致召回漂移和服务中断。

  2026/08/28 LLM / Embedding / Vector Database / Model Migration / MLOps

• LLM 知识蒸馏生产实战：用 Teacher Logprob 契约、On-policy 回放与 Top-K Tail Bucket 控制学生模型退化

  面向大模型知识蒸馏上线，系统说明教师 Logprob 契约、温度与散度选择、On-policy 回放、Top-K 尾部概率桶、Tokenizer 对齐及学生能力回归门禁，避免蒸馏后静默退化与上线翻车。

  2026/07/28 LLM / 知识蒸馏 / 模型压缩 / On-policy Distillation / MLOps

• LLM Embedding 距离度量治理生产实战：用归一化契约、Metric Matrix 与向量回放避免召回失真

  向量检索中，模型、归一化方式与距离度量一旦错配，系统通常不会报错，却会悄悄改变排序与阈值。本文给出归一化契约、度量矩阵、黄金向量回放和迁移门禁，帮助团队在模型升级与索引切换时稳定召回质量。

  2026/07/21 LLM / Embedding / Vector Search / Retrieval Engineering

• LLM 预训练数据去重生产实战：用 MinHash-LSH、语义去重与污染门禁降低记忆和评测泄漏

  大模型预训练语料中的模板页、转载文和基准变体会放大记忆、浪费算力并污染评测。本文给出从精确去重、MinHash-LSH 到语义去重、基准隔离和阈值回放的完整上线方案，覆盖四层去重架构、工程流水线、阈值校准与常见误区。

  2026/07/14 LLM / Pretraining Data / Data Deduplication / MinHash / Benchmark Contamination / Semantic Deduplication

• LLM 模型合并上线生产实战：用 TIES/DARE、校准集与能力回归门禁降低参数干扰

  模型合并能在不重新训练的情况下组合多个微调模型，但参数冲突、Tokenizer 不一致与能力互相覆盖会放大上线风险。本文讲清 TIES、DARE、校准集选权、制品指纹与回归门禁的生产方法。

  2026/07/14 LLM / Model Merging / TIES / DARE / MLOps

• LLM 实时语音输入生产实战：用 VAD 分段、Partial/Final 对账与音频契约稳住低延迟识别

  实时语音应用的难点不只是模型准确率。本文从音频格式契约、VAD 分段策略、Partial 与 Final 状态对账、时间戳回放到真实噪声评测，系统拆解如何构建可观测、可回滚的低延迟语音识别管线，适合 LLM、生成式 AI 与实时 Agent 技术读者。

  2026/07/13 LLM / 实时语音 / 语音识别 / VAD / 生产工程 / Agent / RAG

• LLM 置信度门禁生产实战：用 Logprobs、校准曲线与拒答阈值控制低可信回答

  本文深入讲解大模型回答置信度的工程实践，从 Token Logprobs 特征提取到校准曲线与风险覆盖率分析，帮助团队建立可回放、可灰度、可审计的拒答门禁体系，兼顾覆盖率与低可信输出拦截。

  2026/07/11 LLM / Logprobs / 校准 / 选择性预测 / AI可靠性 / 置信度门禁

• LLM Embedding 索引迁移生产实战：用双写、别名切换与 Recall 门禁避免召回漂移

  Embedding 模型升级会改变向量维度、距离度量和召回结果。本文系统讲解如何用双写、别名切换、回填校验和 Recall 门禁完成零停机索引迁移，涵盖索引版本管理、增量双写、影子流量验证与快速回滚的完整生产方案。

  2026/07/08 LLM / Embedding / Vector Search / RAG / Production

• VLM 图像输入管线生产实战：用分辨率分档、Token 预算与缓存稳住多模态成本

  多模态模型上线后，图片尺寸、清晰度和缓存策略会直接影响成本、延迟与识别质量。本文从工程角度详解 VLM 图像输入管线的分辨率分档、Token 预算估算、多层缓存策略与上线检查清单，帮助团队稳住多模态成本。

  2026/07/08 LLM / VLM / Multimodal AI / Cost Optimization / AI Infrastructure

• LLM Reranker 生产评估实战：用黄金查询集、nDCG 与延迟预算守住 RAG 召回质量

  本文深入讲解RAG系统中LLM Reranker的生产评估方法论，覆盖黄金查询集构建、nDCG与MRR排序指标、候选集预算优化、延迟成本治理、灰度上线门禁与回滚策略，帮助团队建立独立的重排序评估体系，避免只看最终答案质量而忽视召回排序退化。

  2026/07/07 LLM / RAG / Reranker / Retrieval Evaluation / Production AI

• LLM 实时语音 Agent 生产实战：用 WebRTC、VAD 与打断恢复稳定对话体验

  本文讲解实时语音大模型 Agent 的生产架构，覆盖 WebRTC 音频传输、VAD 端点检测、打断恢复、转写缓冲、工具调用确认、人工接管和上线检查清单，帮助团队从 demo 走向可治理的语音 Agent 系统。

  2026/07/06 LLM / Voice Agent / WebRTC / Realtime API / VAD

• LLM 生成内容溯源生产实战：用 SynthID、水印检测与 C2PA 元数据治理 AI 标签

  本文讲解如何把大模型生成内容纳入可追溯治理体系，覆盖 SynthID 文本水印、C2PA 元数据、检测阈值、平台标签、篡改风险与上线检查清单，适合需要对外发布 AI 内容的工程与安全团队。

  2026/07/06 LLM / AI溯源 / SynthID / C2PA / 内容治理 / AI安全 / 水印检测

• LLM 模型制品供应链生产实战：用 safetensors、签名校验与准入扫描防住权重污染

  本文讲解大模型模型制品从下载、签名、扫描到上线准入的供应链治理方法，覆盖 safetensors、来源校验、SBOM、灰度放行和事故回滚，帮助团队降低权重污染风险，适合开源模型与内部模型仓库落地。

  2026/07/06 LLM / MLOps / Supply Chain Security / Model Registry / safetensors

• LLM 混合检索路由生产实战：用查询分类、RRF 与回退策略稳住 RAG 召回

  本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。

  2026/07/05 LLM / RAG / 混合检索 / RRF / 查询路由 / 召回策略

• LLM 长视频理解生产实战：用帧采样、时间戳索引与片段回放稳定问答质量

  本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。

  2026/07/05 LLM / 视频理解 / 多模态AI / 生产工程 / RAG / 帧采样 / 时间戳索引

• LLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退

  本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。

  2026/07/04 LLM / RAG / Vector Search / Embedding / Production Engineering

• LLM Reasoning Budget 生产实战：用推理开关、Token 上限与超时策略管住成本

  深入讲解推理模型的 thinking 成本治理方法论：从任务分级、推理开关、effort 策略到 Token 上限、超时回退与上线检查，帮助团队在复杂任务上保留推理质量，同时避免隐藏推理 Token 拉高延迟与账单。

  2026/07/04 LLM / Reasoning Models / Cost Optimization / Inference Engineering

• LLM 文档视觉抽取生产实战：用版面切块与置信度审计稳住 PDF 解析质量

  本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。

  2026/07/04 llm / multimodal / document-ai / pdf-parsing / production / rag / layout-analysis / vision-language-model

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• LLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链

  本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。

  2026/06/30 llm / observability / opentelemetry / ai-agent / rag / genai / agent-tracing

• LLM Model Routing 实战：用评估驱动成本、延迟与质量的动态选择

  本文围绕多模型路由的生产落地展开，解释路由信号、评估闭环、成本预算、回退策略与上线检查，帮助团队在质量、延迟和费用之间建立可验证、可回滚、可观测的动态模型选择机制。

  2026/06/30 LLM / Model Routing / AI Gateway / Evaluation / Inference Cost

• Prompt Caching 实战：长上下文 Agent 的成本与延迟治理

  深入解析 Prompt Caching 的核心原理与工程实践，从前缀稳定性、缓存边界到 Agent 场景落地，提供可复现的优化方案与生产检查清单，帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。

  2026/06/29 LLM / Prompt Caching / AI Agent / Cost Optimization / Context Engineering

• 结构化输出不是 JSON Prompt：Constrained Decoding 的工程边界

  本文从 JSON Schema、约束解码、vLLM 与 Outlines 等工程实现出发，解释结构化输出如何提升可靠性，以及上线时需要关注的延迟、Schema 设计与异常兜底。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema

• Structured Outputs 实战：让大模型稳定输出 JSON，不只是加一句"请返回 JSON"

  本文系统讲解大模型结构化输出的工程落地方法，覆盖 JSON Schema、约束解码、Schema 设计、评估指标、常见误区与上线检查，适合构建 Agent、工具调用和数据抽取流程。

  2026/06/29 LLM / Structured Outputs / Constrained Decoding / JSON Schema / Agent / RAG

• Speculative Decoding 实战：为什么小模型草稿 + 大模型校验能降低 LLM 解码延迟

  系统拆解 Speculative Decoding 的 draft model 与 target model 协作机制，涵盖候选 token 校验、接受率分析、低 batch 场景收益及工程上线检查清单，帮助读者深入理解 LLM 推理加速的核心方法。

  2026/06/29 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference

• Speculative Decoding 实战：让大模型少跑几次前向也能保持输出一致

  系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。

  2026/06/27 LLM / 推理优化 / Speculative Decoding / 大模型工程 / Inference / Assisted Decoding

• LLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南

  系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。

  2026/06/26 LLM / Inference / KV Cache / vLLM / PagedAttention / 大模型推理优化

• Speculative Decoding 面试与工程实践：让大模型推理更快的关键机制

  本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。

  2026/06/25 LLM / Speculative Decoding / Inference Optimization / vLLM / 面试复习