LLM Pioneer Hub — 中文大模型、RAG 与 AI 智能体的工程实践https://oh-bug.com/LLM 预训练数据配比生产实战：用 Mixture Manifest、Token Budget 与 Domain Loss Feedback 控制能力偏置https://oh-bug.com/zh/posts/llm-pretraining-data-mixture-manifest/https://oh-bug.com/zh/posts/llm-pretraining-data-mixture-manifest/系统讲解大模型预训练数据配比的工程化治理方法：以不可变 Mixture Manifest 固化域权重与语料版本，用 Token Budget 精确记账，结合代理模型搜索、域损失反馈、饥饿保护与回放门禁持续校准能力结构，让配比从概率参数升级为可审计可复现的训练契约。Tue, 28 Jul 2026 19:03:27 GMTLLM μP 超参数跨规模迁移生产实战：用 Base Shape 指纹、Coord Check 与 Proxy Sweep 降低大模型调参成本https://oh-bug.com/zh/posts/llm-mup-hyperparameter-transfer-production-guide/https://oh-bug.com/zh/posts/llm-mup-hyperparameter-transfer-production-guide/本文系统拆解 μP 超参数跨规模迁移的原理与工程边界，说明如何固化 Base Shape、执行 Coord Check、组织代理模型扫参与回放门禁，并避免把宽度迁移误用于训练时长、批量大小或架构变化。Tue, 28 Jul 2026 15:09:13 GMTLLM 知识蒸馏生产实战：用 Teacher Logprob 契约、On-policy 回放与 Top-K Tail Bucket 控制学生模型退化https://oh-bug.com/zh/posts/llm-knowledge-distillation-production-practice/https://oh-bug.com/zh/posts/llm-knowledge-distillation-production-practice/面向大模型知识蒸馏上线，系统说明教师 Logprob 契约、温度与散度选择、On-policy 回放、Top-K 尾部概率桶、Tokenizer 对齐及学生能力回归门禁，避免蒸馏后静默退化与上线翻车。Tue, 28 Jul 2026 11:08:42 GMTLLM 批量推理作业生产实战：用 Manifest、幂等 Record ID 与分片重试避免重复计费和漏结果https://oh-bug.com/zh/posts/llm-batch-inference-manifest-idempotent-recordid-retry/https://oh-bug.com/zh/posts/llm-batch-inference-manifest-idempotent-recordid-retry/面向异步大批量调用，系统讲解如何以作业清单、确定性记录编号、逐条结果对账和失败分片重试，构建可恢复、可审计、不会因超时重提而重复计费或遗漏结果的批量推理流水线。Tue, 28 Jul 2026 07:07:00 GMTLLM 模型格式转换生产实战：用 Tensor Mapping、QKV 重排与逐层数值校验避免静默退化https://oh-bug.com/zh/posts/llm-model-format-conversion-production/https://oh-bug.com/zh/posts/llm-model-format-conversion-production/系统讲解大模型权重在 Hugging Face、Megatron 与 TensorRT-LLM 之间转换时的参数映射、QKV 重排、分片索引、逐层数值校验和回滚门禁，帮助团队避免模型虽能加载却发生静默退化、输出漂移或并行切分错误，建立可重复、可审计的转换发布流程。Wed, 22 Jul 2026 03:08:14 GMTLLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿https://oh-bug.com/zh/posts/llm-tokenizer-preprocessing-pool-production/https://oh-bug.com/zh/posts/llm-tokenizer-preprocessing-pool-production/大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。Tue, 21 Jul 2026 23:03:51 GMTLLM 训练 NaN/Inf 故障治理生产实战：用 Non-finite 门禁、GradScaler 证据与 Layer Bisect 隔离首个坏步https://oh-bug.com/zh/posts/llm-training-nan-inf-governance/https://oh-bug.com/zh/posts/llm-training-nan-inf-governance/大模型训练中的 NaN/Inf 往往在多个步骤后才暴露。本文从非有限值门禁、GradScaler 跳步证据、分布式一致跳过、层级二分定位与坏批次隔离出发，给出可回放、可止损、可恢复的数值异常治理方案。Tue, 21 Jul 2026 19:05:22 GMTLLM Embedding 距离度量治理生产实战：用归一化契约、Metric Matrix 与向量回放避免召回失真https://oh-bug.com/zh/posts/llm-embedding-distance-metric-governance/https://oh-bug.com/zh/posts/llm-embedding-distance-metric-governance/向量检索中，模型、归一化方式与距离度量一旦错配，系统通常不会报错，却会悄悄改变排序与阈值。本文给出归一化契约、度量矩阵、黄金向量回放和迁移门禁，帮助团队在模型升级与索引切换时稳定召回质量。Tue, 21 Jul 2026 15:12:01 GMTLLM Context Parallel 生产实战：用 Sequence Sharding、Ring/Ulysses 通信与因果负载均衡突破长上下文瓶颈https://oh-bug.com/zh/posts/llm-context-parallel-production-guide/https://oh-bug.com/zh/posts/llm-context-parallel-production-guide/深入讲解长上下文训练中 Context Parallel 的核心原理、Ring Attention 与 Ulysses 通信选型、因果负载均衡策略及生产上线门禁，帮助团队在多 GPU 环境下降低激活显存占用，稳定将上下文长度从 8K 扩展到 128K 以上。Thu, 16 Jul 2026 15:06:17 GMTLLM 推理可复现性生产实战：用 Seed 契约、Batch Invariance 与确定性 Kernel 控制输出漂移https://oh-bug.com/zh/posts/llm-inference-reproducibility-seed-contract-batch-invariance-deterministic-kernel/https://oh-bug.com/zh/posts/llm-inference-reproducibility-seed-contract-batch-invariance-deterministic-kernel/同一模型、同一提示词和相同随机种子仍可能产生不同输出。本文从采样状态、动态批次、浮点归约、并行拓扑和版本指纹出发，给出可复现推理的分级目标、实现方案、回放门禁与上线检查清单。Tue, 14 Jul 2026 19:05:58 GMTLLM 预训练数据去重生产实战：用 MinHash-LSH、语义去重与污染门禁降低记忆和评测泄漏https://oh-bug.com/zh/posts/llm-pretraining-data-deduplication-production/https://oh-bug.com/zh/posts/llm-pretraining-data-deduplication-production/大模型预训练语料中的模板页、转载文和基准变体会放大记忆、浪费算力并污染评测。本文给出从精确去重、MinHash-LSH 到语义去重、基准隔离和阈值回放的完整上线方案，覆盖四层去重架构、工程流水线、阈值校准与常见误区。Tue, 14 Jul 2026 15:06:13 GMTLLM 梯度累积生产实战：用 Token-Normalized Loss、DDP no_sync 与 Scheduler 对齐避免等效批次失真https://oh-bug.com/zh/posts/llm-gradient-accumulation-production/https://oh-bug.com/zh/posts/llm-gradient-accumulation-production/梯度累积看似只是把多个微批次相加，但变长样本、分布式同步、混合精度和学习率调度会悄悄改变等效批次。本文深入剖析 Token 归一化、DDP no_sync、AMP 更新边界与尾部窗口处理等生产级方案，帮助你在 LLM 微调中实现数学一致的梯度累积。Tue, 14 Jul 2026 11:03:11 GMTLLM Activation Checkpointing 生产实战：用 Selective Recompute、非重入模式与 RNG 一致性压低训练显存https://oh-bug.com/zh/posts/llm-activation-checkpointing-production-guide/https://oh-bug.com/zh/posts/llm-activation-checkpointing-production-guide/大模型训练中，激活值常比参数更早耗尽显存。本文深入探讨选择性重计算、非重入模式、随机数状态一致性及工程门禁策略，帮助团队在保证梯度正确的前提下降低峰值显存，控制训练吞吐损失。Tue, 14 Jul 2026 07:08:14 GMTLLM FP8 微调上线生产实战：用 Amax Scaling、层级白名单与 BF16 回退守住收敛https://oh-bug.com/zh/posts/llm-fp8-finetuning-production/https://oh-bug.com/zh/posts/llm-fp8-finetuning-production/FP8 能降低大模型微调的算力与显存压力，但缩放策略、异常值和分布式同步处理不当会导致静默精度退化。本文给出 Amax 监控、层级白名单、BF16 回退、双轨评测与发布门禁的完整工程方案。Tue, 14 Jul 2026 03:07:36 GMTLLM 模型合并上线生产实战：用 TIES/DARE、校准集与能力回归门禁降低参数干扰https://oh-bug.com/zh/posts/llm-model-merging-production-ties-dare/https://oh-bug.com/zh/posts/llm-model-merging-production-ties-dare/模型合并能在不重新训练的情况下组合多个微调模型，但参数冲突、Tokenizer 不一致与能力互相覆盖会放大上线风险。本文讲清 TIES、DARE、校准集选权、制品指纹与回归门禁的生产方法。Mon, 13 Jul 2026 23:04:01 GMTLLM SFT Sequence Packing 生产实战：用样本边界、Loss Mask 与 Length Bucket 提升吞吐并避免串样https://oh-bug.com/zh/posts/llm-sft-sequence-packing-production-practice/https://oh-bug.com/zh/posts/llm-sft-sequence-packing-production-practice/本文详解 SFT 训练中如何通过 Sequence Packing 减少 Padding 浪费，结合样本边界隔离、Loss Mask、位置编号、长度分桶与回放门禁，避免跨样本注意力污染与训练标签串样，实现安全高效的变长训练。Mon, 13 Jul 2026 19:09:24 GMTLLM Unicode 输出治理生产实战：用增量 UTF-8 解码、Grapheme Cluster 与 NFC 边界缓冲避免乱码和字符截断https://oh-bug.com/zh/posts/llm-unicode-streaming-output-governance/https://oh-bug.com/zh/posts/llm-unicode-streaming-output-governance/面向流式大模型应用，系统讲解网络字节、API Delta 与用户可见字符三层边界，给出增量 UTF-8 解码、扩展字素簇缓冲、NFC 归一化及回放测试方案，避免乱码、Emoji 拆分和索引失配。Mon, 13 Jul 2026 15:09:11 GMTLLM 分布式微调断点恢复生产实战：用 Sharded Checkpoint、原子提交与 World Size 变更恢复避免训练重跑https://oh-bug.com/zh/posts/llm-distributed-finetuning-checkpoint-recovery/https://oh-bug.com/zh/posts/llm-distributed-finetuning-checkpoint-recovery/分布式微调真正危险的不是保存慢，而是恢复后训练状态悄悄漂移。本文围绕分片检查点、原子提交、优化器与随机状态恢复、World Size 变更及故障演练，给出可验证的生产方案。Mon, 13 Jul 2026 11:09:34 GMTLLM GPU 能效治理生产实战：用分阶段 Clock Lock、Joules/Token 与热降频门禁守住吞吐https://oh-bug.com/zh/posts/llm-gpu-energy-efficiency-clock-lock/https://oh-bug.com/zh/posts/llm-gpu-energy-efficiency-clock-lock/只给 GPU 设置 Power Cap，往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁，在不破坏延迟 SLO 的前提下治理推理能效。Mon, 13 Jul 2026 07:05:01 GMTLLM 分布式推理通信故障治理：用 NCCL RAS、Flight Recorder 与拓扑基线定位集体通信卡死https://oh-bug.com/zh/posts/llm-nccl-communication-failure-troubleshooting/https://oh-bug.com/zh/posts/llm-nccl-communication-failure-troubleshooting/分布式大模型推理发生 NCCL 集体通信卡死时，往往只剩模糊的超时日志。本文介绍如何用 RAS、Flight Recorder、拓扑基线和异常 Rank 定位，建立可观测、可回滚的通信上线门禁。Mon, 13 Jul 2026 03:03:00 GMTLLM 实时语音输入生产实战：用 VAD 分段、Partial/Final 对账与音频契约稳住低延迟识别https://oh-bug.com/zh/posts/llm-realtime-voice-vad-partial-final-reconciliation/https://oh-bug.com/zh/posts/llm-realtime-voice-vad-partial-final-reconciliation/实时语音应用的难点不只是模型准确率。本文从音频格式契约、VAD 分段策略、Partial 与 Final 状态对账、时间戳回放到真实噪声评测，系统拆解如何构建可观测、可回滚的低延迟语音识别管线，适合 LLM、生成式 AI 与实时 Agent 技术读者。Sun, 12 Jul 2026 23:05:52 GMTLLM RoPE Scaling 上线生产实战：用配置指纹、长度分桶与双轨评测避免长上下文退化https://oh-bug.com/zh/posts/rope-scaling-production-deployment/https://oh-bug.com/zh/posts/rope-scaling-production-deployment/RoPE Scaling 并不等于把 max_model_len 调大。本文从位置频率、配置指纹、长度分桶、长短上下文双轨评测与灰度回滚出发，系统讲解如何将长上下文扩展安全交付到生产环境，避免上下文退化带来的业务风险。Sun, 12 Jul 2026 19:06:07 GMTLLM 机密推理生产实战：用 GPU 远程证明、按证明放行密钥与证据链保护敏感数据https://oh-bug.com/zh/posts/llm-confidential-inference-gpu-attestation/https://oh-bug.com/zh/posts/llm-confidential-inference-gpu-attestation/本文从生产架构出发，深入讲解 LLM 机密推理如何利用 CPU/GPU 可信执行环境、远程证明、按证明释放密钥与证据留存，保护敏感 Prompt、模型权重和推理中间态，并说明兼容边界与上线检查方法。Sun, 12 Jul 2026 15:07:32 GMTLLM GPU 多租户隔离生产实战：用 MIG Profile、Time-Slicing 分层与重配置门禁稳定共享推理https://oh-bug.com/zh/posts/llm-gpu-multi-tenant-isolation-mig-time-slicing/https://oh-bug.com/zh/posts/llm-gpu-multi-tenant-isolation-mig-time-slicing/面向共享 GPU 上的大模型推理，本文系统讲解 MIG、Time-Slicing 与 MPS 的隔离差异，给出 Profile 选型、Kubernetes 调度、重配置门禁、监控与回滚方法，帮助团队在利用率、延迟和故障边界之间建立可验证的生产方案。Sun, 12 Jul 2026 11:04:33 GMTLLM CPU–GPU 数据通路生产实战：用 NUMA 亲和、Pinned Memory 与异步拷贝降低推理抖动https://oh-bug.com/zh/posts/llm-cpu-gpu-data-path/https://oh-bug.com/zh/posts/llm-cpu-gpu-data-path/本文从大模型推理中容易被忽视的 CPU 到 GPU 数据通路出发，系统讲解 NUMA 亲和、页锁定内存、异步拷贝、拓扑调度与容器对齐等关键环节，并结合性能回放与上线门禁，帮助团队有效减少主机侧传输抖动、尾延迟和跨节点资源错配。Sun, 12 Jul 2026 07:05:51 GMTLLM Attention Backend 生产实战：用兼容矩阵、数值回放与自动回退治理 FlashAttention 和 FlashInferhttps://oh-bug.com/zh/posts/llm-attention-backend-governance/https://oh-bug.com/zh/posts/llm-attention-backend-governance/大模型推理框架会在 FlashAttention、FlashInfer 与 SDPA 间选核。本文给出兼容矩阵、数值回放、性能基线和自动回退方案，避免升级后出现启动失败、输出漂移与尾延迟恶化。Sun, 12 Jul 2026 03:02:28 GMTLLM 权重量化上线生产实战：用校准集指纹、Kernel 兼容矩阵与双轨回放守住质量和吞吐https://oh-bug.com/zh/posts/llm-weight-quantization-production/https://oh-bug.com/zh/posts/llm-weight-quantization-production/深入拆解 LLM 权重量化从实验到生产落地的完整链路，涵盖 AWQ/GPTQ 算法对比、校准集指纹构建、四层兼容模型、Kernel 兼容矩阵、质量与吞吐双轨回放及灰度发布回滚策略。Sat, 11 Jul 2026 23:03:36 GMTLLM 推理可复现性生产实战：用 Batch Invariance、固定 Seed 与配置指纹控制输出漂移https://oh-bug.com/zh/posts/llm-inference-reproducibility-batch-invariance/https://oh-bug.com/zh/posts/llm-inference-reproducibility-batch-invariance/本文拆解大模型推理在温度为零时仍可能出现输出漂移的原因，给出固定种子、Batch Invariance、环境指纹、回放矩阵与分级确定性门禁的生产落地方法，帮助团队稳定评测、审计、缓存和回归测试结果。Sat, 11 Jul 2026 19:04:53 GMTLLM MoE Expert Parallel 生产实战：用专家负载画像、All-to-All 预算与动态副本稳住推理吞吐https://oh-bug.com/zh/posts/llm-moe-expert-parallel-production/https://oh-bug.com/zh/posts/llm-moe-expert-parallel-production/MoE 模型稀疏激活不等于推理天然高效。本文拆解 Expert Parallel 的 All-to-All 通信、专家热点与动态副本机制，给出从负载画像到拓扑放置、容量门禁的完整生产治理方案。Sat, 11 Jul 2026 15:03:55 GMTLLM Tokenizer 版本治理生产实战：用兼容性指纹、Token 漂移回放与预算门禁避免成本突变https://oh-bug.com/zh/posts/llm-tokenizer-version-governance/https://oh-bug.com/zh/posts/llm-tokenizer-version-governance/Tokenizer 变化会让同一提示词的 Token 数、截断位置与调用成本突然漂移。本文给出兼容性指纹、黄金语料回放、双计数和预算门禁方案，帮助团队在模型升级前识别风险并安全灰度。Sat, 11 Jul 2026 11:03:45 GMTLLM 置信度门禁生产实战：用 Logprobs、校准曲线与拒答阈值控制低可信回答https://oh-bug.com/zh/posts/llm-confidence-gating-logprobs-calibration/https://oh-bug.com/zh/posts/llm-confidence-gating-logprobs-calibration/本文深入讲解大模型回答置信度的工程实践，从 Token Logprobs 特征提取到校准曲线与风险覆盖率分析，帮助团队建立可回放、可灰度、可审计的拒答门禁体系，兼顾覆盖率与低可信输出拦截。Sat, 11 Jul 2026 07:02:35 GMTLLM GPU 显存碎片治理生产实战：用 Memory Snapshot、Allocator 调优与 OOM 门禁稳住推理服务https://oh-bug.com/zh/posts/llm-gpu-memory-fragmentation-governance-production/https://oh-bug.com/zh/posts/llm-gpu-memory-fragmentation-governance-production/大模型推理服务常在显存尚未耗尽时因碎片化触发 OOM。本文结合 Memory Snapshot、动态 Shape、分配器调优和 vLLM 显存预算，给出可观测、可验证、可回滚的生产治理方案。Sat, 11 Jul 2026 03:04:43 GMTLLM CUDA Graph 生产实战：用 Shape Bucket、分段捕获与 Eager 回退降低解码启动开销https://oh-bug.com/zh/posts/llm-cuda-graph-shape-bucket-piecewise-capture-eager-fallback/https://oh-bug.com/zh/posts/llm-cuda-graph-shape-bucket-piecewise-capture-eager-fallback/大模型解码阶段 CPU Kernel Launch 开销常被忽视。本文深入讲解 CUDA Graph 捕获与重放机制，结合 Shape Bucket 设计、分段捕获、预热状态机和 Eager 回退策略，给出可落地的生产方案，帮助团队降低推理尾延迟与 P99 抖动。Fri, 10 Jul 2026 23:06:48 GMTLLM API 凭证治理生产实战：用 Workload Identity、短期令牌与最小权限减少静态 Key 暴露https://oh-bug.com/zh/posts/llm-api-credential-governance-production/https://oh-bug.com/zh/posts/llm-api-credential-governance-production/本文讲解如何为生产级大模型调用建立无静态密钥的凭证体系，覆盖工作负载身份、短期令牌、最小权限、租户隔离、轮换回退、审计告警与应急撤销，降低密钥泄漏、权限扩散和异常账单风险。Fri, 10 Jul 2026 19:07:12 GMTLLM Serverless GPU 冷启动生产实战：用权重预取、Warm Pool 与 Scale-to-Zero 平衡成本和 TTFThttps://oh-bug.com/zh/posts/llm-serverless-gpu-cold-start-production/https://oh-bug.com/zh/posts/llm-serverless-gpu-cold-start-production/本文从 LLM Serverless GPU 推理的冷启动问题入手，深入讲解权重预取、镜像预热、Warm Pool、Scale-to-Zero、TTFT 监控和上线门禁，帮助工程团队在 GPU 成本与首 token 延迟之间建立可控的精细化平衡。Fri, 10 Jul 2026 15:03:04 GMTLLM 视频输入管线生产实战：用帧采样、时间戳对齐与 Media Token 预算控制多模态成本https://oh-bug.com/zh/posts/llm-video-input-pipeline-production-guide/https://oh-bug.com/zh/posts/llm-video-input-pipeline-production-guide/视频理解不只是多传几张图。本文从文件准入、解码探测、帧采样、时间戳对齐到 Media Token 预算，系统讲解如何建设可上线的 LLM 视频输入管线，并覆盖缓存、质量评估与常见误区。Fri, 10 Jul 2026 03:07:22 GMTLLM 输出长度治理生产实战：用 Finish Reason、Token 预算与续写策略避免答案半截https://oh-bug.com/zh/posts/llm-output-length-governance/https://oh-bug.com/zh/posts/llm-output-length-governance/本文从大模型答案半截、续写失控和成本抖动入手，讲解如何用 Finish Reason、Token 预算、长度分级、续写账本和上线门禁治理输出完整性，减少用户看到不完整答案的风险。Thu, 09 Jul 2026 23:05:26 GMTLLM Streaming 输出生产实战：用 SSE 事件边界、背压与断流恢复稳定实时响应https://oh-bug.com/zh/posts/llm-streaming-sse-backpressure-production/https://oh-bug.com/zh/posts/llm-streaming-sse-backpressure-production/本文从大模型流式输出的生产故障入手，深入讲解 SSE 事件边界、背压控制、断流恢复、代理超时与前端渲染优化，帮助工程团队构建可靠、可观测的流式响应链路，稳定实时交互体验。Thu, 09 Jul 2026 19:09:22 GMTLLM Tool Contract Testing 生产实战：用 Schema 兼容、黄金对话与回放沙箱降低 Agent 升级风险https://oh-bug.com/zh/posts/llm-tool-contract-testing-production/https://oh-bug.com/zh/posts/llm-tool-contract-testing-production/Agent 工具升级最容易破坏函数选择和参数语义。本文介绍如何用 Schema 兼容矩阵、黄金对话、沙箱回放和版本门禁，构建可上线的 LLM Tool Contract Testing 流程，覆盖选择契约、参数契约、执行契约、返回契约与行为契约五层体系。Thu, 09 Jul 2026 15:07:14 GMTLLM 隐私脱敏网关生产实战：用 PII 识别、可逆代换与日志最小化降低数据外泄风险https://oh-bug.com/zh/posts/llm-pii-redaction-gateway-production-guide/https://oh-bug.com/zh/posts/llm-pii-redaction-gateway-production-guide/面向企业级 LLM 应用，系统讲解隐私脱敏网关如何在请求、响应与日志全链路中识别 PII、执行可逆代换、落地数据最小化策略，从根本上降低敏感数据外泄风险。Thu, 09 Jul 2026 11:06:24 GMTLLM LoRA Adapter 缓存生产实战：用热度分层、冷启动预算与驱逐策略稳住多租户微调服务https://oh-bug.com/zh/posts/llm-lora-adapter-cache-production-practice/https://oh-bug.com/zh/posts/llm-lora-adapter-cache-production-practice/在多租户微调服务中，LoRA Adapter 数量、版本与租户数持续增长，单纯全量预加载已不可行。本文从 Adapter Registry、热度分层、冷启动预算、驱逐策略到上线检查，系统讲解如何构建生产级 Adapter 缓存治理体系，帮助团队在共享基础模型池中稳定服务大量定制模型。Thu, 09 Jul 2026 07:06:03 GMTLLM 多租户配额网关生产实战：用 Token 预算、速率限制与公平调度守住共享模型池https://oh-bug.com/zh/posts/llm-multi-tenant-quota-gateway/https://oh-bug.com/zh/posts/llm-multi-tenant-quota-gateway/面向共享大模型推理平台，系统讲解多租户配额网关如何通过请求速率、Token 预算、公平调度、成本归因与降级策略，避免少数租户拖垮共享模型池并控制账单风险。Thu, 09 Jul 2026 03:06:52 GMTLLM Serving 自动伸缩生产实战：用队列水位、P95 延迟与 GPU 利用率安全扩缩容https://oh-bug.com/zh/posts/llm-serving-autoscaling-production-guide/https://oh-bug.com/zh/posts/llm-serving-autoscaling-production-guide/本文深入探讨 LLM Serving 生产环境的自动伸缩方案，以队列水位、P95 延迟、Token 吞吐和 GPU 利用率构建多层扩缩容控制闭环，融入 warm pool、admission control、成本边界与 cooldown 策略，帮助团队在成本约束下稳定满足推理 SLO。Wed, 08 Jul 2026 23:10:12 GMTLLM Embedding 索引迁移生产实战：用双写、别名切换与 Recall 门禁避免召回漂移https://oh-bug.com/zh/posts/llm-embedding-index-migration-zero-downtime/https://oh-bug.com/zh/posts/llm-embedding-index-migration-zero-downtime/Embedding 模型升级会改变向量维度、距离度量和召回结果。本文系统讲解如何用双写、别名切换、回填校验和 Recall 门禁完成零停机索引迁移，涵盖索引版本管理、增量双写、影子流量验证与快速回滚的完整生产方案。Wed, 08 Jul 2026 15:05:57 GMTLLM 模型灰度发布生产实战：用影子流量、兼容门禁与自动回滚降低版本漂移风险https://oh-bug.com/zh/posts/llm-canary-release-shadow-traffic-compatibility-gates/https://oh-bug.com/zh/posts/llm-canary-release-shadow-traffic-compatibility-gates/当模型供应商更新、内部微调或提示词升级时，线上行为可能悄悄漂移。本文从影子流量、兼容门禁、金丝雀指标、版本登记和自动回滚讲清 LLM 灰度发布的工程做法，帮助团队构建面向行为兼容性的发布链路。Wed, 08 Jul 2026 11:06:02 GMTVLM 图像输入管线生产实战：用分辨率分档、Token 预算与缓存稳住多模态成本https://oh-bug.com/zh/posts/vlm-image-input-pipeline-production-guide/https://oh-bug.com/zh/posts/vlm-image-input-pipeline-production-guide/多模态模型上线后，图片尺寸、清晰度和缓存策略会直接影响成本、延迟与识别质量。本文从工程角度详解 VLM 图像输入管线的分辨率分档、Token 预算估算、多层缓存策略与上线检查清单，帮助团队稳住多模态成本。Wed, 08 Jul 2026 07:04:37 GMTLLM 多供应商 API 适配层生产实战：用能力矩阵、参数归一化与响应契约降低迁移成本https://oh-bug.com/zh/posts/llm-multi-provider-api-adapter-production-guide/https://oh-bug.com/zh/posts/llm-multi-provider-api-adapter-production-guide/多模型供应商接入不能只靠统一 SDK。本文从能力矩阵、参数归一化、响应契约、流式事件适配、工具调用生命周期到迁移回放测试，系统讲解 LLM 适配层的生产治理方法，帮助团队降低模型迁移成本与线上风险。Wed, 08 Jul 2026 03:04:20 GMTLLM 内容安全生产实战：用分层 Moderation、阈值灰度与人工复核降低误杀https://oh-bug.com/zh/posts/llm-content-safety-moderation-production/https://oh-bug.com/zh/posts/llm-content-safety-moderation-production/本文深入讲解如何在生成式AI应用中落地内容安全分类器，围绕输入输出分层检测、阈值灰度策略、误杀复核闭环、日志审计与上线门禁，构建可运营的 Moderation 生产体系，帮助团队平衡安全与用户体验。Tue, 07 Jul 2026 23:04:09 GMTLLM API 客户端可靠性生产实战：用错误分级、重试预算与请求账本稳住调用链路https://oh-bug.com/zh/posts/llm-api-client-reliability-production/https://oh-bug.com/zh/posts/llm-api-client-reliability-production/本文讲解大模型 API 客户端在生产环境中的可靠性治理，覆盖错误分级、超时边界、随机退避、重试预算、请求账本、降级策略与上线检查，帮助团队减少调用链路抖动。Tue, 07 Jul 2026 19:02:58 GMTLLM 微调数据集版本治理生产实战：用数据血缘、评测门禁与回滚策略避免 SFT 退化https://oh-bug.com/zh/posts/llm-finetuning-dataset-governance/https://oh-bug.com/zh/posts/llm-finetuning-dataset-governance/本文讲解如何把大模型微调数据集纳入版本治理，覆盖样本血缘、训练测试拆分、评测门禁、实验追踪、回滚与上线检查，避免 SFT 因脏数据、偏置样本或错误标注导致能力退化。Tue, 07 Jul 2026 15:09:23 GMTLLM Tensor Parallel 推理部署生产实战：用并行度、NCCL 与拓扑感知降低跨卡抖动https://oh-bug.com/zh/posts/llm-tensor-parallel-inference-nccl-topology/https://oh-bug.com/zh/posts/llm-tensor-parallel-inference-nccl-topology/本文讲解大模型跨卡推理部署中的 Tensor Parallel、Pipeline Parallel、NCCL 通信与拓扑感知调优，覆盖并行度选择、节点网络、压测指标和上线检查，帮助团队降低多 GPU 服务抖动。Tue, 07 Jul 2026 11:03:33 GMTLLM 工具结果缓存生产实战：用幂等键、TTL 与失效策略降低 Agent 外部调用成本https://oh-bug.com/zh/posts/llm-tool-result-cache-production/https://oh-bug.com/zh/posts/llm-tool-result-cache-production/本文讲解如何为大模型 Agent 的外部工具调用建立结果缓存，覆盖幂等键设计、TTL 语义分层、事件驱动失效、状态隔离、审计回放和上线检查清单，帮助团队降低重复 API 调用成本与延迟，同时避免缓存污染和跨租户泄露。Tue, 07 Jul 2026 07:03:37 GMTLLM Batch API 离线推理生产实战：用 JSONL 队列、custom_id 与结果回灌降低非实时任务成本https://oh-bug.com/zh/posts/llm-batch-api-offline-inference-production/https://oh-bug.com/zh/posts/llm-batch-api-offline-inference-production/本文讲解如何把非实时大模型任务改造成可恢复的 Batch API 离线流水线，覆盖 JSONL 队列、custom_id、状态轮询、错误回灌、结果对账、成本预算与上线检查清单，帮助团队降低大规模 LLM 任务的成本并提升工程可靠性。Tue, 07 Jul 2026 03:04:25 GMTLLM Chat Template 生产治理：用模板版本、Token 计数与回放测试避免模型切换翻车https://oh-bug.com/zh/posts/llm-chat-template-production-governance/https://oh-bug.com/zh/posts/llm-chat-template-production-governance/深入讲解大模型 Chat Template 的生产级治理方法，覆盖模板版本管理、特殊 token 处理、Token 精确计数、工具调用渲染及回放测试，帮助团队在模型切换时避免质量回退与成本失控。Mon, 06 Jul 2026 23:03:07 GMTLLM Reranker 生产评估实战：用黄金查询集、nDCG 与延迟预算守住 RAG 召回质量https://oh-bug.com/zh/posts/llm-reranker-evaluation-production-guide/https://oh-bug.com/zh/posts/llm-reranker-evaluation-production-guide/本文深入讲解RAG系统中LLM Reranker的生产评估方法论，覆盖黄金查询集构建、nDCG与MRR排序指标、候选集预算优化、延迟成本治理、灰度上线门禁与回滚策略，帮助团队建立独立的重排序评估体系，避免只看最终答案质量而忽视召回排序退化。Mon, 06 Jul 2026 19:05:36 GMT边缘 LLM 推理生产实战：用 GGUF、mmap 与分层卸载跑稳本地模型https://oh-bug.com/zh/posts/edge-llm-inference-gguf-mmap/https://oh-bug.com/zh/posts/edge-llm-inference-gguf-mmap/系统讲解如何将开放权重大模型部署到本地工作站、边缘节点与内网服务器，涵盖 GGUF 量化选型、mmap 内存映射加载、CPU/GPU 分层卸载调参、服务化治理与上线检查清单，帮助团队把边缘推理从“能跑”提升到“生产可运维”。Mon, 06 Jul 2026 15:06:35 GMTLLM GPU 故障自愈生产实战：用健康探针、节点隔离与请求排空降低推理中断https://oh-bug.com/zh/posts/llm-gpu-fault-self-healing-production/https://oh-bug.com/zh/posts/llm-gpu-fault-self-healing-production/LLM 推理服务如何应对 GPU 异常？本文讲解 DCGM 健康检查、Kubernetes 四层探针设计、节点隔离、请求排空、CUDA OOM 分级恢复与灰度验证，帮助团队构建 GPU 故障自愈闭环，降低推理中断与重试风暴。Mon, 06 Jul 2026 11:02:54 GMTLLM 实时语音 Agent 生产实战：用 WebRTC、VAD 与打断恢复稳定对话体验https://oh-bug.com/zh/posts/llm-realtime-voice-agent-production/https://oh-bug.com/zh/posts/llm-realtime-voice-agent-production/本文讲解实时语音大模型 Agent 的生产架构，覆盖 WebRTC 音频传输、VAD 端点检测、打断恢复、转写缓冲、工具调用确认、人工接管和上线检查清单，帮助团队从 demo 走向可治理的语音 Agent 系统。Mon, 06 Jul 2026 07:07:00 GMTLLM 生成内容溯源生产实战：用 SynthID、水印检测与 C2PA 元数据治理 AI 标签https://oh-bug.com/zh/posts/llm-content-provenance-synthid-c2pa/https://oh-bug.com/zh/posts/llm-content-provenance-synthid-c2pa/本文讲解如何把大模型生成内容纳入可追溯治理体系，覆盖 SynthID 文本水印、C2PA 元数据、检测阈值、平台标签、篡改风险与上线检查清单，适合需要对外发布 AI 内容的工程与安全团队。Mon, 06 Jul 2026 03:01:53 GMTComputer-use Agent 浏览器自动化生产实战：用动作回放、DOM 断言与人工接管跑稳网页任务https://oh-bug.com/zh/posts/computer-use-agent-browser-automation-production/https://oh-bug.com/zh/posts/computer-use-agent-browser-automation-production/本文深入探讨如何将 Computer-use Agent 应用于生产级网页任务，涵盖截图循环、动作回放、DOM 断言、失败恢复、人工接管与安全审计，帮助团队降低误点击和不可复现问题，构建可观测、可恢复的浏览器自动化系统。Sun, 05 Jul 2026 23:06:20 GMTLLM 模型制品供应链生产实战：用 safetensors、签名校验与准入扫描防住权重污染https://oh-bug.com/zh/posts/llm-model-artifact-supply-chain-production/https://oh-bug.com/zh/posts/llm-model-artifact-supply-chain-production/本文讲解大模型模型制品从下载、签名、扫描到上线准入的供应链治理方法，覆盖 safetensors、来源校验、SBOM、灰度放行和事故回滚，帮助团队降低权重污染风险，适合开源模型与内部模型仓库落地。Sun, 05 Jul 2026 19:02:51 GMTCoding Agent 沙盒运行时生产实战：用文件边界、网络白名单与审批流保护代码仓库https://oh-bug.com/zh/posts/coding-agent-sandbox-runtime-production/https://oh-bug.com/zh/posts/coding-agent-sandbox-runtime-production/本文深入讲解编码 Agent 在生产环境中如何通过沙盒运行时保护代码仓库，覆盖文件系统边界、网络白名单、敏感文件隔离、审批升级、容器执行平面、审计恢复与上线检查清单，为 LLM Agent 安全落地提供可执行方案。Sun, 05 Jul 2026 15:02:35 GMTLLM 推理容量规划生产实战：用 Token 吞吐压测与队列水位估算 GPU 余量https://oh-bug.com/zh/posts/llm-inference-capacity-planning/https://oh-bug.com/zh/posts/llm-inference-capacity-planning/本文讲解如何把大模型在线推理从事后扩容改成可压测、可估算、可预警的容量工程，覆盖Token吞吐、队列水位、P99 TTFT、GPU余量和上线检查清单，帮助团队提前识别瓶颈并做出定量的扩容决策。Sun, 05 Jul 2026 11:03:52 GMTLLM Agent 持久化工作流生产实战：用检查点、状态机与人审恢复跑稳长任务https://oh-bug.com/zh/posts/llm-agent-durable-workflow-production/https://oh-bug.com/zh/posts/llm-agent-durable-workflow-production/本文讲解如何把长任务型大模型 Agent 从一次性脚本改造成可恢复工作流，覆盖检查点、状态机、人审中断、重试超时、幂等副作用和上线检查清单，适合需要稳定运行的生产场景。Sun, 05 Jul 2026 07:05:41 GMTLLM LoRA 适配器缓存生产实战：用冷热分层与驱逐策略降低动态加载抖动https://oh-bug.com/zh/posts/llm-lora-adapter-cache-cold-hot-tiering-eviction/https://oh-bug.com/zh/posts/llm-lora-adapter-cache-cold-hot-tiering-eviction/本文讲解多租户大模型服务中 LoRA 适配器缓存的生产治理，覆盖动态加载、冷热分层、驱逐策略、租户配额、版本发布与上线检查，帮助团队降低首次延迟和显存抖动风险。Sun, 05 Jul 2026 03:01:23 GMTLLM 混合检索路由生产实战：用查询分类、RRF 与回退策略稳住 RAG 召回https://oh-bug.com/zh/posts/llm-hybrid-retrieval-routing/https://oh-bug.com/zh/posts/llm-hybrid-retrieval-routing/本文深入讲解大模型RAG系统中混合检索路由的生产实践，覆盖查询分类、BM25与向量检索融合、RRF排序算法、权重调节策略、回退治理与上线检查清单，帮助团队减少漏召回与检索策略失控。Sat, 04 Jul 2026 23:04:45 GMTLLM 长视频理解生产实战：用帧采样、时间戳索引与片段回放稳定问答质量https://oh-bug.com/zh/posts/llm-long-video-understanding-production/https://oh-bug.com/zh/posts/llm-long-video-understanding-production/本文讲解长视频问答进入生产前的工程治理方法，覆盖帧采样、镜头切分、字幕融合、时间戳索引、片段回放、证据校验与上线检查，帮助团队降低漏看关键帧和时间顺序错误。Sat, 04 Jul 2026 19:02:04 GMTLLM 检索索引更新生产实战：用蓝绿索引与增量回灌避免 RAG 质量回退https://oh-bug.com/zh/posts/llm-rag-index-update-blue-green-backfill/https://oh-bug.com/zh/posts/llm-rag-index-update-blue-green-backfill/本文讲解如何治理 RAG 检索索引更新，覆盖蓝绿索引、双写、增量回灌、别名切换、质量抽检和回滚策略，帮助团队在文档、Embedding 模型或切块规则变化时降低检索质量回退风险。Sat, 04 Jul 2026 11:01:27 GMTLLM Red Team 回归测试生产实战：用自动化攻击集守住安全发布门禁https://oh-bug.com/zh/posts/llm-red-team-regression-testing-production/https://oh-bug.com/zh/posts/llm-red-team-regression-testing-production/本文讲解如何把大模型红队从一次性安全测试改造成持续回归门禁，覆盖攻击集版本、自动化扫描、风险分级、误报复核、灰度发布和上线检查，帮助团队在模型与提示词更新时及时发现安全倒退。Sat, 04 Jul 2026 07:02:25 GMTLLM Reasoning Budget 生产实战：用推理开关、Token 上限与超时策略管住成本https://oh-bug.com/zh/posts/llm-reasoning-budget-production/https://oh-bug.com/zh/posts/llm-reasoning-budget-production/深入讲解推理模型的 thinking 成本治理方法论：从任务分级、推理开关、effort 策略到 Token 上限、超时回退与上线检查，帮助团队在复杂任务上保留推理质量，同时避免隐藏推理 Token 拉高延迟与账单。Sat, 04 Jul 2026 03:05:22 GMTLLM 文档视觉抽取生产实战：用版面切块与置信度审计稳住 PDF 解析质量https://oh-bug.com/zh/posts/llm-document-visual-extraction-production-layout-chunking-confidence-audit/https://oh-bug.com/zh/posts/llm-document-visual-extraction-production-layout-chunking-confidence-audit/本文讲解如何把多模态大模型用于 PDF 与扫描件解析，覆盖版面切块、表格抽取、置信度审计、人工复核和上线检查，帮助团队降低幻觉、漏抽与错位解析风险，适合合同、财报、工单等复杂文档场景。Fri, 03 Jul 2026 23:03:54 GMTLLM 输出内容安全生产实战：用分级审核与灰度阈值降低误拦截https://oh-bug.com/zh/posts/llm-output-content-safety-tiered-review/https://oh-bug.com/zh/posts/llm-output-content-safety-tiered-review/本文系统讲解大模型内容安全在生产环境中的分级审核、阈值灰度、人工复核和误拦截治理，帮助团队在降低风险的同时保留正常用户体验。Fri, 03 Jul 2026 19:05:08 GMTLLM Streaming Backpressure 生产实战：用取消、超时与流控稳定长输出体验https://oh-bug.com/zh/posts/llm-streaming-backpressure-production/https://oh-bug.com/zh/posts/llm-streaming-backpressure-production/本文系统讲解大模型流式输出中的背压、取消与超时治理，覆盖 SSE 事件流、客户端慢读、服务端队列、连接中断、资源回收、降级策略和上线检查，帮助团队稳定长输出体验。Fri, 03 Jul 2026 15:05:32 GMTLLM 行为漂移治理：用兼容性门禁管住模型更新与提示词回归https://oh-bug.com/zh/posts/llm-behavior-drift-governance/https://oh-bug.com/zh/posts/llm-behavior-drift-governance/本文从模型更新与提示词回归双维度切入，系统讲解如何建立行为契约、按风险分组回归套件、搭建兼容性门禁，并结合灰度发布与快速回滚机制，降低大模型应用上线后的行为漂移与质量退化风险。Fri, 03 Jul 2026 11:02:05 GMTLLM Prompt Data Privacy 生产实战：用 PII 脱敏、保留策略与审计边界管住提示词数据https://oh-bug.com/zh/posts/llm-prompt-data-privacy-production-guide/https://oh-bug.com/zh/posts/llm-prompt-data-privacy-production-guide/系统拆解大模型应用中的提示词数据隐私治理，覆盖 PII 脱敏、保留策略、审计日志、供应商边界与上线检查清单，帮助企业将隐私治理从一句“不会用于训练”落地为可运行的工程体系。Fri, 03 Jul 2026 07:08:03 GMTLLM Batch Inference 生产实战：用异步批处理跑稳离线大模型任务https://oh-bug.com/zh/posts/llm-batch-inference-production-guide/https://oh-bug.com/zh/posts/llm-batch-inference-production-guide/本文系统讲解 LLM Batch Inference 如何用于离线摘要、分类、数据标注和批量评测任务，覆盖任务切分、幂等重试、结果归并、成本控制、失败恢复与上线检查清单。Fri, 03 Jul 2026 03:01:19 GMTLLM 成本归因生产实战：用 Token 台账与 Chargeback 稳住多团队预算https://oh-bug.com/zh/posts/llm-cost-attribution-chargeback-production/https://oh-bug.com/zh/posts/llm-cost-attribution-chargeback-production/从 Token 台账、成本归因、账单校准、预算预警和 Chargeback 四个层面，系统讲解多团队 LLM 应用如何把不可解释的模型账单改造成可追踪、可分摊、可优化的工程指标体系。Thu, 02 Jul 2026 19:04:33 GMTVoice Agent 生产实战：用流式 ASR、VAD 与分段上下文稳定语音大模型体验https://oh-bug.com/zh/posts/voice-agent-streaming-asr-vad-context/https://oh-bug.com/zh/posts/voice-agent-streaming-asr-vad-context/从工程视角拆解语音大模型应用的实时链路，详解如何用流式 ASR、语音活动检测、分段上下文、LLM 推理和 TTS 协调来降低端到端体感延迟，稳定长对话中的语义边界与用户体验。Thu, 02 Jul 2026 15:07:23 GMTTool Contract Testing 生产实战：用契约用例治理函数调用 Schema 演进https://oh-bug.com/zh/posts/tool-contract-testing-production-practice/https://oh-bug.com/zh/posts/tool-contract-testing-production-practice/系统讲解大模型 Agent 工具调用中的契约测试方法，覆盖函数 Schema 版本化、兼容性规则、契约用例设计、灰度回放、CI 阻断与上线检查清单，帮助工程团队提前暴露 Schema 演进风险。Thu, 02 Jul 2026 11:05:28 GMTTool Result Caching 生产实战：用缓存命中率降低 Agent 外部调用成本https://oh-bug.com/zh/posts/tool-result-caching-production-practice/https://oh-bug.com/zh/posts/tool-result-caching-production-practice/本文系统拆解大模型工具调用中的结果缓存设计，覆盖缓存键、TTL、幂等、失效、观测指标与上线检查，帮助 Agent 在保证准确性的前提下降低外部 API 成本与尾延迟。Thu, 02 Jul 2026 07:04:48 GMTEmbedding 与 Reranker 生产评估：用离线回放和影子流量治理检索质量回归https://oh-bug.com/zh/posts/embedding-reranker-production-evaluation-offline-replay-shadow-traffic/https://oh-bug.com/zh/posts/embedding-reranker-production-evaluation-offline-replay-shadow-traffic/本文系统讲解 Embedding 与 Reranker 上线后的检索质量评估方法，覆盖离线回放、影子流量、混合检索、指标设计和回归处置，帮助团队避免模型升级后召回质量悄然下降。Thu, 02 Jul 2026 03:04:49 GMTVLM Serving 生产实战：用视觉 Token 预算稳定图片与视频推理https://oh-bug.com/zh/posts/vlm-serving-visual-token-budget/https://oh-bug.com/zh/posts/vlm-serving-visual-token-budget/本文系统讲解多模态大模型服务中图片与视频输入治理、视觉 Token 预算、预处理队列、成本控制和上线检查清单，帮助团队在生产环境中稳定落地 VLM 推理服务。Wed, 01 Jul 2026 23:05:19 GMTLLM Gateway 生产实战：用策略引擎治理多租户、预算与模型访问边界https://oh-bug.com/zh/posts/llm-gateway-policy-engine-multi-tenant-budget/https://oh-bug.com/zh/posts/llm-gateway-policy-engine-multi-tenant-budget/从 LLM Gateway 策略引擎切入，系统梳理多租户模型访问控制、预算限额、速率限制、审计日志和灰度发布的落地方法，帮助团队把分散的大模型调用治理成可控、可观测、可审计的统一入口。Wed, 01 Jul 2026 19:04:05 GMTServerless GPU 推理冷启动治理：用 Warm Pool 与分阶段预热降低首次延迟https://oh-bug.com/zh/posts/serverless-gpu-inference-cold-start-warm-pool/https://oh-bug.com/zh/posts/serverless-gpu-inference-cold-start-warm-pool/深入剖析 Serverless GPU 场景下大模型冷启动的六阶段瓶颈，从 Warm Pool 分层策略、分阶段预热机制到工程落地架构与指标体系，帮助团队在 GPU 成本与首 Token 延迟之间找到可验证的平衡方案。Wed, 01 Jul 2026 15:10:44 GMTMulti-LoRA 生产实战：用适配器缓存与冷热分层稳定多租户推理https://oh-bug.com/zh/posts/multi-lora-production-adapter-cache-hot-cold-tiering/https://oh-bug.com/zh/posts/multi-lora-production-adapter-cache-hot-cold-tiering/从多租户推理场景出发，系统讲解 Multi-LoRA 服务中的适配器缓存、冷热分层、Rank 感知调度、驱逐策略和上线检查方法，帮助团队在 GPU 显存约束下稳定服务海量定制化 LoRA 适配器。Wed, 01 Jul 2026 11:08:10 GMTLLM Serving 过载保护实战：用 SLO 驱动自动伸缩与准入控制https://oh-bug.com/zh/posts/llm-serving-overload-protection-slo-autoscaling-admission-control/https://oh-bug.com/zh/posts/llm-serving-overload-protection-slo-autoscaling-admission-control/大模型推理服务上线后，真正棘手的问题往往不是单次请求慢，而是流量突增时系统陷入不可恢复的排队状态。本文围绕 SLO 驱动的自动伸缩与准入控制，给出基于队列长度、Token 压力、TTFT/TPOT 和租户配额的过载保护工程落地清单。Wed, 01 Jul 2026 07:06:56 GMTContinuous Batching 生产实战：用动态批处理提升 LLM Serving 吞吐https://oh-bug.com/zh/posts/continuous-batching-production-guide/https://oh-bug.com/zh/posts/continuous-batching-production-guide/本文系统讲解 Continuous Batching 如何通过迭代级调度提升 LLM 推理吞吐，覆盖静态批处理痛点、调度机制、KV Cache 约束、关键参数配置、监控指标与上线误区，适合推理服务优化与容量规划参考。Wed, 01 Jul 2026 03:10:29 GMTStructured Outputs 生产实战：用 Constrained Decoding 让大模型稳定输出 JSONhttps://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production-guide/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production-guide/系统解析结构化输出在大模型应用中的核心价值，讲清 JSON Schema、约束解码、业务验证、失败回退和监控指标，帮助工程团队降低解析失败率，提升接口稳定性与上线可控性。Wed, 01 Jul 2026 01:05:16 GMTPagedAttention 生产实战：用分页式 KV Cache 提升 LLM Serving 吞吐https://oh-bug.com/zh/posts/pagedattention-production-kv-cache-llm-serving/https://oh-bug.com/zh/posts/pagedattention-production-kv-cache-llm-serving/系统讲解 PagedAttention 的原理、KV Cache 分页管理、连续批处理协同、监控指标和上线检查，帮助你在大模型推理服务中降低显存碎片并提升吞吐。Wed, 01 Jul 2026 00:06:51 GMTPrefix Caching 生产实战：用 KV Cache 复用降低长上下文 TTFThttps://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-ttft/https://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-ttft/系统讲解 Prefix Caching 在大模型推理服务中的原理、适用场景、工程接入、指标监控、安全边界与常见误区，帮助 RAG、Agent 和多轮对话应用降低 TTFT、减少重复预填充计算并提升资源利用率。Tue, 30 Jun 2026 23:05:15 GMTSpeculative Decoding 生产实战：用 Draft-Verify 机制降低大模型解码延迟https://oh-bug.com/zh/posts/speculative-decoding-production-practice/https://oh-bug.com/zh/posts/speculative-decoding-production-practice/系统讲解 Speculative Decoding 的 Draft-Verify 原理、vLLM 与 TensorRT-LLM 落地方式、指标调优、适用边界与上线检查，帮助在生产环境降低解码延迟，并避免低接受率带来的反向开销。Tue, 30 Jun 2026 22:08:33 GMTKV Cache 量化生产实战：用 FP8/INT8 降低长上下文推理显存压力https://oh-bug.com/zh/posts/kv-cache-quantization-production-fp8-int8/https://oh-bug.com/zh/posts/kv-cache-quantization-production-fp8-int8/系统梳理 KV Cache 量化在长上下文 LLM 推理中的价值、原理、vLLM/TensorRT-LLM 落地方式、评估指标与上线风险，帮助团队稳妥降低显存与延迟成本。Tue, 30 Jun 2026 21:06:55 GMTPrefill-Decode Disaggregation 生产实战：分离预填充与解码，降低 TTFT/TPOT 冲突https://oh-bug.com/zh/posts/prefill-decode-disaggregation-production/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-production/系统梳理大模型预填充与解码分离架构，深入解释长上下文场景下首 token 延迟与逐 token 延迟的冲突根源，覆盖 KV Cache 传输、动态路由、资源配比、监控指标与上线检查清单，助你平稳落地生产环境。Tue, 30 Jun 2026 20:06:01 GMTStructured Outputs 生产实战：用 Constrained Decoding 让 JSON Schema 真正可用https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-production/本文系统梳理结构化输出在大模型工程中的落地方法，覆盖 JSON Schema、约束解码、校验重试、性能开销、监控指标与常见误区，帮助团队减少解析失败、线上重试和隐性业务风险。Tue, 30 Jun 2026 19:06:36 GMTAgent 工具调用安全实战：用权限边界防住 Prompt Injection 与 Tool Poisoninghttps://oh-bug.com/zh/posts/agent-tool-calling-security/https://oh-bug.com/zh/posts/agent-tool-calling-security/系统梳理 LLM Agent 工具调用中的 Prompt Injection、Tool Poisoning 与权限放大风险，从信任边界、权限边界、执行边界三层架构出发，给出策略网关、人工审批、沙箱隔离和全链路监控的完整落地方案。Tue, 30 Jun 2026 18:14:32 GMTLLM-as-a-Judge 生产实战：如何校准自动评估，避免把模型裁判当真理https://oh-bug.com/zh/posts/llm-as-a-judge-production-calibration/https://oh-bug.com/zh/posts/llm-as-a-judge-production-calibration/系统讲解 LLM-as-a-Judge 在大模型应用评估中的生产落地方法，涵盖数据集构建、评分规约设计、偏差校准、指标监控与人工复核闭环，帮助团队把模型裁判从自动真理机变成可审计的评估子系统。Tue, 30 Jun 2026 17:07:31 GMTContinuous Batching 生产实战：让 LLM 服务在高并发下稳定吃满 GPUhttps://oh-bug.com/zh/posts/continuous-batching-llm-production-guide/https://oh-bug.com/zh/posts/continuous-batching-llm-production-guide/本文系统梳理大模型服务中连续批处理的核心原理、调度策略、KV Cache 约束、工程落地步骤与监控指标，帮助团队在高并发场景下提升吞吐并控制尾延迟，覆盖从原理验证到生产上线的完整实践路径。Tue, 30 Jun 2026 16:08:31 GMTSpeculative Decoding 生产实战：用草稿模型降低 LLM 生成延迟https://oh-bug.com/zh/posts/speculative-decoding-production-guide/https://oh-bug.com/zh/posts/speculative-decoding-production-guide/本文系统梳理 Speculative Decoding 在大模型推理服务中的原理、工程落地、选型方法、指标监控与常见误区，帮助团队判断何时值得上线草稿模型加速。Tue, 30 Jun 2026 15:06:06 GMTPrefix Caching 生产实战：用 KV Cache 复用降低 TTFT 与输入成本https://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-reuse-ttft/https://oh-bug.com/zh/posts/prefix-caching-production-kv-cache-reuse-ttft/系统讲解 Prefix Caching 与 KV Cache 复用在大模型推理中的核心原理、工程落地五步流程、关键监控指标、五大适用场景及常见误区，并附上线检查清单，帮助团队降低首 token 延迟与重复计算成本。Tue, 30 Jun 2026 14:05:07 GMTKV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存https://oh-bug.com/zh/posts/kv-cache-quantization-production-guide/https://oh-bug.com/zh/posts/kv-cache-quantization-production-guide/系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。Tue, 30 Jun 2026 13:06:00 GMTContext Engineering 生产实战：把 Agent 上下文窗口当成资源调度https://oh-bug.com/zh/posts/context-engineering-production-practice/https://oh-bug.com/zh/posts/context-engineering-production-practice/上下文工程不是把资料塞满窗口，而是围绕任务目标动态选择指令、记忆、工具结果和检索片段，让 Agent 在长任务中保持可靠、可控和低成本。Tue, 30 Jun 2026 11:05:43 GMTPagedAttention 生产实战：用分页 KV Cache 提升 LLM Serving 吞吐https://oh-bug.com/zh/posts/llm-serving-pagedattention-kv-cache/https://oh-bug.com/zh/posts/llm-serving-pagedattention-kv-cache/系统讲解 PagedAttention 如何通过分页 KV Cache 管理缓解大模型推理中的显存碎片与过度预留问题，帮助工程团队提升吞吐、降低延迟波动，并给出生产上线检查清单与监控策略。Tue, 30 Jun 2026 10:05:50 GMTLLM Observability 生产实战：用 OpenTelemetry GenAI 语义规范追踪 Agent 调用链https://oh-bug.com/zh/posts/llm-observability-opentelemetry-genai-production/https://oh-bug.com/zh/posts/llm-observability-opentelemetry-genai-production/本文系统讲解如何使用 OpenTelemetry GenAI 语义规范为 LLM 与 Agent 应用建立可观测性，从调用链、Token、工具调用、隐私治理到上线检查，帮助团队定位延迟、成本和质量问题。Tue, 30 Jun 2026 08:02:45 GMTMCP Tool Poisoning 实战：为 LLM Agent 建立工具调用安全边界https://oh-bug.com/zh/posts/mcp-tool-poisoning-agent-security/https://oh-bug.com/zh/posts/mcp-tool-poisoning-agent-security/系统拆解 MCP 工具投毒与间接提示注入风险，从工具注册、最小权限、参数审计、内容隔离到运行时拦截，给出可落地的五层防御架构与上线检查清单，帮助接入外部 API、数据库和企业系统的团队建立可审计的 Agent 安全边界。Tue, 30 Jun 2026 07:07:31 GMTPrefix Caching 生产实战：让 RAG 与 Agent 服务复用 KV Cache 的完整指南https://oh-bug.com/zh/posts/prefix-caching-production-rag-agent-kv-cache/https://oh-bug.com/zh/posts/prefix-caching-production-rag-agent-kv-cache/本文系统讲解 Prefix Caching 如何复用共享提示词与上下文的 KV Cache，降低 RAG、Agent 和长文档问答场景的 TTFT、推理成本与重复预填充开销，并给出 vLLM、OpenAI API、SGLang 的工程落地清单与常见误区。Tue, 30 Jun 2026 06:02:54 GMTStructured Outputs 生产实战：用 Constrained Decoding 稳定生成 JSON Schemahttps://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-json-schema/https://oh-bug.com/zh/posts/structured-outputs-constrained-decoding-json-schema/本文系统讲解 Structured Outputs 与 Constrained Decoding 的核心原理、Schema 设计、服务端接入、性能成本、异常处理、上线检查与常见误区，帮助 LLM 应用稳定生成可解析 JSON。Tue, 30 Jun 2026 05:03:47 GMTAgent Memory 工程实战：让 LLM Agent 可靠记住该记住的事https://oh-bug.com/zh/posts/agent-memory-engineering-llm-agent-reliable-memory/https://oh-bug.com/zh/posts/agent-memory-engineering-llm-agent-reliable-memory/从短期会话到长期记忆，系统拆解 LLM Agent 的写入、整理、读取、遗忘与评估机制，帮助团队避免把记忆层做成不可控的向量库堆料，打造可生产落地的 Agent 记忆系统。Tue, 30 Jun 2026 04:01:02 GMTContextual Retrieval 实战：让 RAG Chunk 带着上下文被检索https://oh-bug.com/zh/posts/contextual-retrieval-practice/https://oh-bug.com/zh/posts/contextual-retrieval-practice/系统讲解 Contextual Retrieval 的原理、索引改造、混合检索、重排与上线检查，帮助工程团队降低 RAG 漏召回并提升答案可追溯性。Tue, 30 Jun 2026 03:00:39 GMTSpeculative Decoding 实战：用 EAGLE 与 Draft Model 降低 LLM 单用户延迟https://oh-bug.com/zh/posts/speculative-decoding-eagle-draft-model-llm-latency/https://oh-bug.com/zh/posts/speculative-decoding-eagle-draft-model-llm-latency/从推理服务视角深入拆解 Speculative Decoding 的草稿生成、并行校验、接受率与上线指标，系统对比 Draft Model、Medusa、EAGLE 等主流方案，结合灰度验证与回滚清单，帮助 LLM 工程团队将投机解码从论文技巧落地为稳定的生产优化手段。Tue, 30 Jun 2026 02:05:32 GMTLLM Model Routing 实战：用评估驱动成本、延迟与质量的动态选择https://oh-bug.com/zh/posts/llm-model-routing-evaluation-driven/https://oh-bug.com/zh/posts/llm-model-routing-evaluation-driven/本文围绕多模型路由的生产落地展开，解释路由信号、评估闭环、成本预算、回退策略与上线检查，帮助团队在质量、延迟和费用之间建立可验证、可回滚、可观测的动态模型选择机制。Tue, 30 Jun 2026 00:04:19 GMTAttention Sinks 实战：用 StreamingLLM 做长会话持续生成https://oh-bug.com/zh/posts/attention-sinks-streamingllm-long-session-generation/https://oh-bug.com/zh/posts/attention-sinks-streamingllm-long-session-generation/本文从注意力沉降现象出发，解释 StreamingLLM 如何保留初始 Sink Token 与最近窗口，在不微调模型的前提下降低长会话显存压力，并给出生产落地边界、监控指标与上线检查清单。Mon, 29 Jun 2026 23:01:13 GMTLLM-as-a-Judge 生产落地：Rubric、偏差与回归测试闭环https://oh-bug.com/zh/posts/llm-as-a-judge-production-rubric-bias-regression-testing/https://oh-bug.com/zh/posts/llm-as-a-judge-production-rubric-bias-regression-testing/本文从 LLM-as-a-Judge 的评分模式、Rubric 设计、偏差来源、线上回归、人工复核与阈值治理出发，整理一套适合 RAG、Agent 和内容生成系统的生产级评测闭环。Mon, 29 Jun 2026 22:05:45 GMTAgent Observability 实战：从 Trace 到 Eval 的生产闭环https://oh-bug.com/zh/posts/agent-observability-trace-eval-production-loop/https://oh-bug.com/zh/posts/agent-observability-trace-eval-production-loop/围绕大模型 Agent 线上治理，拆解 Trace、Span、评估器、采样、脱敏、回放与告警如何协同，帮助团队从日志排障升级为可复现、可审计、可持续改进的质量工程。Mon, 29 Jun 2026 21:05:42 GMTKV Cache Quantization 实战：长上下文推理的显存与吞吐治理https://oh-bug.com/zh/posts/kv-cache-quantization-practice-long-context-inference/https://oh-bug.com/zh/posts/kv-cache-quantization-practice-long-context-inference/KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。Mon, 29 Jun 2026 20:04:23 GMTContinuous Batching 实战：为什么 LLM 服务不能用传统固定批处理https://oh-bug.com/zh/posts/continuous-batching-llm-serving-practice/https://oh-bug.com/zh/posts/continuous-batching-llm-serving-practice/从固定批处理、迭代级调度到 PagedAttention，系统梳理 Continuous Batching 在大模型推理服务中的原理、收益、边界与上线检查方法。Mon, 29 Jun 2026 19:01:23 GMTMCP Tool Server 安全治理：从接入便利到最小权限执行https://oh-bug.com/zh/posts/mcp-tool-server-security-governance/https://oh-bug.com/zh/posts/mcp-tool-server-security-governance/MCP 让大模型连接工具变得统一，但也放大了权限、身份、审计与提示注入风险。本文从协议边界、授权模型、执行隔离和上线检查出发，整理一套可落地的 MCP Tool Server 安全治理方案。Mon, 29 Jun 2026 18:04:37 GMTMoE Expert Parallelism 实战：稀疏大模型推理的通信与负载均衡治理https://oh-bug.com/zh/posts/moe-expert-parallelism-inference-guide/https://oh-bug.com/zh/posts/moe-expert-parallelism-inference-guide/MoE模型推理服务中，Expert Parallelism如何影响通信开销与负载均衡？本文从真实瓶颈出发，系统梳理EP工作机制、All-to-All通信、并行策略组合、跨节点部署与上线检查清单，帮助工程师在生产环境中高效部署稀疏大模型。Mon, 29 Jun 2026 17:03:38 GMTMulti-LoRA Serving 实战：一套基座模型如何服务多个业务适配器https://oh-bug.com/zh/posts/multi-lora-serving-guide/https://oh-bug.com/zh/posts/multi-lora-serving-guide/从 LoRA 原理、动态适配器加载、批处理调度和上线治理出发，解释 Multi-LoRA Serving 如何降低多业务大模型部署成本，并指出工程落地中的边界与常见误区。Mon, 29 Jun 2026 16:01:34 GMTChunked Prefill 实战：长上下文推理的延迟治理https://oh-bug.com/zh/posts/chunked-prefill-llm-inference-latency/https://oh-bug.com/zh/posts/chunked-prefill-llm-inference-latency/本文从连续批处理与预填充分块的协同机制出发，深入解析长上下文推理中如何通过 Chunked Prefill 治理延迟，涵盖核心调度原理、chunk size 调参策略、工程落地指标与生产上线检查清单。Mon, 29 Jun 2026 15:03:33 GMTPrompt Caching 实战：长上下文 Agent 的成本与延迟治理https://oh-bug.com/zh/posts/prompt-caching-engineering-practice/https://oh-bug.com/zh/posts/prompt-caching-engineering-practice/深入解析 Prompt Caching 的核心原理与工程实践，从前缀稳定性、缓存边界到 Agent 场景落地，提供可复现的优化方案与生产检查清单，帮助团队在不改变模型语义的前提下显著降低输入成本与首字延迟。Mon, 29 Jun 2026 14:03:24 GMT结构化输出不是 JSON Prompt：Constrained Decoding 的工程边界https://oh-bug.com/zh/posts/structured-output-constrained-decoding/https://oh-bug.com/zh/posts/structured-output-constrained-decoding/本文从 JSON Schema、约束解码、vLLM 与 Outlines 等工程实现出发，解释结构化输出如何提升可靠性，以及上线时需要关注的延迟、Schema 设计与异常兜底。Mon, 29 Jun 2026 13:06:35 GMTKV Cache 复用实战：Prefix Caching、Offloading 与长上下文成本治理https://oh-bug.com/zh/posts/kv-cache-reuse-prefix-caching-offloading-cost/https://oh-bug.com/zh/posts/kv-cache-reuse-prefix-caching-offloading-cost/KV Cache 复用正在成为长上下文大模型服务的核心优化点。本文从 Prefix Caching、RadixAttention 到多级 Offloading，系统梳理命中率、延迟、成本与上线检查方法，帮助团队在同样 GPU 预算下承载更多请求。Mon, 29 Jun 2026 12:05:04 GMTSpeculative Decoding 生产落地：为什么低 QPS 加速，高负载反而变慢https://oh-bug.com/zh/posts/speculative-decoding-production-low-qps-high-load/https://oh-bug.com/zh/posts/speculative-decoding-production-low-qps-high-load/从生产推理角度拆解推测解码的收益边界，解释草稿模型、验证模型、接受率、请求负载与批处理之间的关系，并给出上线前的压测、回退和监控清单。Mon, 29 Jun 2026 11:05:32 GMTPrefill-Decode 解耦实战：长上下文大模型服务的延迟治理https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving/长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、适用边界、KV Cache 传输、资源规划与上线检查清单。Mon, 29 Jun 2026 10:06:59 GMTPrefill-Decode 解耦实战：长上下文大模型服务的延迟治理https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving-latency/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-serving-latency/长上下文和智能体请求让大模型推理瓶颈从单卡吞吐转向尾延迟治理。本文深入解析 Prefill-Decode 解耦的原理、KV Cache 传输、资源规划与上线检查清单，帮助 LLM 服务从“能跑”迈向稳定可扩展。Mon, 29 Jun 2026 10:06:59 GMT大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍https://oh-bug.com/zh/posts/llm-quantization-fp8-int4-awq-production/https://oh-bug.com/zh/posts/llm-quantization-fp8-int4-awq-production/从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。Mon, 29 Jun 2026 09:04:25 GMTPagedAttention 实战：为什么大模型服务的瓶颈不是算力，而是 KV Cache 调度https://oh-bug.com/zh/posts/pagedattention-practice-kv-cache-scheduling-bottleneck/https://oh-bug.com/zh/posts/pagedattention-practice-kv-cache-scheduling-bottleneck/从 KV Cache 内存碎片、PagedAttention、连续批处理到前缀缓存，系统讲清大模型推理服务如何提升吞吐、降低延迟，并给出工程落地检查清单。Mon, 29 Jun 2026 08:03:33 GMTStructured Outputs 实战：让大模型稳定输出 JSON，不只是加一句"请返回 JSON"https://oh-bug.com/zh/posts/structured-outputs-practical-guide-stable-json-llm/https://oh-bug.com/zh/posts/structured-outputs-practical-guide-stable-json-llm/本文系统讲解大模型结构化输出的工程落地方法，覆盖 JSON Schema、约束解码、Schema 设计、评估指标、常见误区与上线检查，适合构建 Agent、工具调用和数据抽取流程。Mon, 29 Jun 2026 07:07:41 GMTSpeculative Decoding 实战：为什么小模型草稿 + 大模型校验能降低 LLM 解码延迟https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-acceleration/https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-acceleration/系统拆解 Speculative Decoding 的 draft model 与 target model 协作机制，涵盖候选 token 校验、接受率分析、低 batch 场景收益及工程上线检查清单，帮助读者深入理解 LLM 推理加速的核心方法。Mon, 29 Jun 2026 05:51:32 GMTKV Cache 优化实战：LLM 推理成本真正卡在显存里https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference-cost/https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference-cost/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Sun, 28 Jun 2026 08:07:55 GMTKV Cache 优化实战：LLM 推理成本真正卡在显存里https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference/https://oh-bug.com/zh/posts/kv-cache-optimization-llm-inference/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、分页管理、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Sat, 27 Jun 2026 16:06:31 GMTSpeculative Decoding 实战：让大模型少跑几次前向也能保持输出一致https://oh-bug.com/zh/posts/speculative-decoding-practice-llm-inference/https://oh-bug.com/zh/posts/speculative-decoding-practice-llm-inference/系统拆解 Speculative Decoding 的 draft、verify、accept/reject 流程，覆盖 LLM 推理加速的适用场景、关键工程指标、draft model 选型策略与常见误区，帮助工程团队在生产环境中落地推理加速。Sat, 27 Jun 2026 08:48:54 GMTKV Cache 优化实战：让大模型推理更快、更省显存https://oh-bug.com/zh/posts/kv-cache-optimization-practice/https://oh-bug.com/zh/posts/kv-cache-optimization-practice/系统拆解 LLM 推理中的 KV Cache 优化，从缓存原理、PagedAttention、前缀复用、量化缓存到监控指标，帮助工程团队降低延迟、节省显存并提升线上吞吐。Fri, 26 Jun 2026 11:13:30 GMTLLM 推理加速：KV Cache 优化的原理、工程实践与避坑指南https://oh-bug.com/zh/posts/llm-inference-kv-cache-optimization-guide/https://oh-bug.com/zh/posts/llm-inference-kv-cache-optimization-guide/系统讲解大模型推理中 KV Cache 的原理与工程实践：涵盖 PagedAttention、Prefix Caching、KV Cache 量化、Offloading 及线上监控，助你掌握推理优化核心方法。Fri, 26 Jun 2026 09:30:54 GMTPrefix-Aware KV Cache Routing：LLM 推理别再重复算相同前缀https://oh-bug.com/zh/posts/prefix-aware-kv-cache-routing/https://oh-bug.com/zh/posts/prefix-aware-kv-cache-routing/本文系统拆解 Prefix-Aware KV Cache Routing 的生产工程价值，从 prefix caching、KV cache block hash、worker 路由、跨节点缓存复用、租户隔离到 SLO 监控，帮助团队减少重复 prefill、降低 TTFT，并避免缓存热点与安全风险。Fri, 26 Jun 2026 01:12:19 GMTLLM Quantization Engineering：生产推理不能只看位宽https://oh-bug.com/zh/posts/llm-quantization-engineering/https://oh-bug.com/zh/posts/llm-quantization-engineering/本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。Fri, 26 Jun 2026 00:03:00 GMTAgent Observability：生产级 AI Agent 不能只看日志和延迟https://oh-bug.com/zh/posts/agent-observability-production-ai-agents/https://oh-bug.com/zh/posts/agent-observability-production-ai-agents/系统拆解 AI Agent 可观测性工程，从 OpenTelemetry GenAI semantic conventions、LLM trace、tool call span、retrieval evidence、memory lineage 到 online evals 与 execution provenance，帮助团队定位 RAG、工具调用和长任务 Agent 的真实失败原因。Thu, 25 Jun 2026 22:59:50 GMTMulti-LoRA Serving：一套 Base Model 如何服务上千个定制模型https://oh-bug.com/zh/posts/multi-lora-serving-one-base-model-thousands-adapters/https://oh-bug.com/zh/posts/multi-lora-serving-one-base-model-thousands-adapters/本文系统拆解 Multi-LoRA Serving 的生产工程价值，从 LoRA adapter、共享 base model、动态加载、GPU 缓存、异构 rank、请求路由、租户隔离到 SLO 监控，帮助团队用更低成本部署大规模定制化 LLM 服务。Thu, 25 Jun 2026 22:03:36 GMTPrompt Caching Engineering：长任务 Agent 的成本与延迟优化不能只靠自动缓存https://oh-bug.com/zh/posts/prompt-caching-engineering-llm-agent-cost-latency-optimization/https://oh-bug.com/zh/posts/prompt-caching-engineering-llm-agent-cost-latency-optimization/本文系统拆解 Prompt Caching 在生产级 LLM Agent 中的工程价值，从稳定前缀、cache breakpoint、工具 schema、动态上下文、TTFT、缓存命中指标到质量回归测试，帮助团队把提示词缓存从 API 功能做成可观测、可版本化的成本与延迟优化体系。Thu, 25 Jun 2026 21:00:50 GMTLLM Model Routing 生产落地实战：别把所有请求都交给最贵模型https://oh-bug.com/zh/posts/llm-model-routing-production-guide/https://oh-bug.com/zh/posts/llm-model-routing-production-guide/系统拆解 LLM Model Routing 的生产工程价值，覆盖强弱模型路由、级联调用、质量评估、成本预算、延迟 SLO、Provider 回退与对抗路由风险，帮助团队建立可观测、可回退、可评估的大模型调用中间层。Thu, 25 Jun 2026 20:01:52 GMTMCP Agent Security：工具接入时代的 LLM 安全边界，不只是 Prompt Injectionhttps://oh-bug.com/zh/posts/mcp-agent-security-tool-access-llm-security-boundary/https://oh-bug.com/zh/posts/mcp-agent-security-tool-access-llm-security-boundary/从 MCP 官方规范、OWASP、OpenAI、NSA 与安全研究出发，系统拆解 AI Agent 工具接入中的 tool poisoning、间接 prompt injection、权限控制、动作审查、沙箱执行与审计回归，帮助团队构建可上线的 MCP Agent 安全架构。Thu, 25 Jun 2026 19:00:38 GMTRAG Retrieval Quality Engineering：别再只调 Prompt，先把证据找对https://oh-bug.com/zh/posts/rag-retrieval-quality-engineering/https://oh-bug.com/zh/posts/rag-retrieval-quality-engineering/本文系统拆解生产级 RAG 的检索质量工程，从文档解析、结构化分块、BM25 与向量混合检索、重排、证据压缩到 RAG 评估指标，帮助团队减少幻觉、提升答案可追溯性与系统稳定性。Thu, 25 Jun 2026 18:02:59 GMTLLM-as-a-Judge：生产级大模型评测不能只看自动打分https://oh-bug.com/zh/posts/llm-as-a-judge-production-evaluation/https://oh-bug.com/zh/posts/llm-as-a-judge-production-evaluation/本文系统拆解 LLM-as-a-Judge 的工程价值、G-Eval、pointwise 与 pairwise 评测、position bias、verbosity bias、self-preference、人工校准和 CI 回归测试，帮助团队建立可追踪、可校准、可上线的 LLM 自动评测体系。Thu, 25 Jun 2026 17:02:44 GMTChunked Prefill Scheduling：LLM 推理调度为什么不能只靠 Continuous Batchinghttps://oh-bug.com/zh/posts/chunked-prefill-scheduling-llm-inference/https://oh-bug.com/zh/posts/chunked-prefill-scheduling-llm-inference/本文系统拆解 Chunked Prefill Scheduling 的工程原理、continuous batching 的局限、TTFT 与 ITL 的指标取舍、token budget 调优、公平性控制和生产上线 Checklist，帮助判断 LLM 推理系统如何降低长 prompt 对流式输出的干扰。Thu, 25 Jun 2026 16:01:03 GMTPrefill-Decode Disaggregation：LLM 推理为什么要把 Prefill 和 Decode 拆开https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-inference/https://oh-bug.com/zh/posts/prefill-decode-disaggregation-llm-inference/本文系统拆解 Prefill-Decode Disaggregation 的工程原理、TTFT 与 ITL/TPOT 的指标边界、KV cache 传输成本、调度策略和上线 Checklist，帮助判断 LLM 推理服务何时应该从统一实例走向分离式架构。Thu, 25 Jun 2026 15:04:12 GMTStructured Outputs + Tool Calling：生产 Agent 为什么需要两阶段约束设计https://oh-bug.com/zh/posts/structured-outputs-tool-calling-two-pass-execution/https://oh-bug.com/zh/posts/structured-outputs-tool-calling-two-pass-execution/从 OpenAI、Anthropic、vLLM 与最新研究出发，拆解结构化输出、工具调用和约束解码的工程边界，说明为什么生产级 Agent 应采用两阶段约束设计，避免 JSON Schema 抑制工具调用。Thu, 25 Jun 2026 14:02:39 GMTSpeculative Decoding 面试与工程实践：让大模型推理更快的关键机制https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-interview-engineering/https://oh-bug.com/zh/posts/speculative-decoding-llm-inference-interview-engineering/本文系统讲解 Speculative Decoding 的原理、面试答法与工程落地方法，覆盖 draft model、target model、接受率、参数调优、适用场景和常见误区，适合复习 LLM 推理优化。Thu, 25 Jun 2026 13:25:51 GMTKV Cache Engineering：LLM 推理真正的内存瓶颈，不只是模型权重https://oh-bug.com/zh/posts/kv-cache-engineering-llm-inference-memory-bottleneck/https://oh-bug.com/zh/posts/kv-cache-engineering-llm-inference-memory-bottleneck/本文系统拆解 KV cache 在 LLM 推理中的作用、显存瓶颈、PagedAttention、Prefix Caching、RadixAttention 与 KV cache quantization，帮助工程团队从内存账本角度优化长上下文、batch size、TTFT 和吞吐量。Thu, 25 Jun 2026 13:00:33 GMT开源与闭源大模型选择指南：LLaMA 3 vs GPT-4o 选型实践https://oh-bug.com/zh/posts/llm-selection-guide/https://oh-bug.com/zh/posts/llm-selection-guide/从成本、隐私安全、定制化能力和推理性能等多维度对比开源模型（如 LLaMA、Qwen）与商业闭源模型（如 OpenAI、Claude），为企业智能化转型提供决策依据。Thu, 25 Jun 2026 13:00:00 GMTContext Engineering：AI Agent 生产化的核心不是提示词，而是上下文预算https://oh-bug.com/zh/posts/context-engineering-ai-agent-context-budget/https://oh-bug.com/zh/posts/context-engineering-ai-agent-context-budget/本文结合 Anthropic、OpenAI 与 GitHub 工程实践，拆解 AI Agent 上下文工程理念：为什么生产级 Agent 的关键不是更聪明的提示词，而是把上下文窗口当成稀缺资源来管理，涵盖工具设计、记忆压缩、子 Agent 分工与离线评测。Thu, 25 Jun 2026 12:03:18 GMTAI Agent（智能体）的崛起：从单体模型到自主执行的工作流https://oh-bug.com/zh/posts/ai-agents-future/https://oh-bug.com/zh/posts/ai-agents-future/分析 AI Agent 的核心要素（规划、记忆、工具使用），解析 LangChain、CrewAI 与 AutoGPT 等主流智能体框架，展望自主工作流的未来。Thu, 25 Jun 2026 12:00:00 GMTBatch Speculative Decoding：生产级 LLM 推理加速不能只看吞吐量https://oh-bug.com/zh/posts/batch-speculative-decoding-production-llm-inference/https://oh-bug.com/zh/posts/batch-speculative-decoding-production-llm-inference/系统拆解 Batch Speculative Decoding 的工程原理、ragged tensor 风险、KV-cache 同步要求与生产落地指标，帮助理解 LLM 推理加速从单请求优化走向批量服务时必须解决的正确性问题。Thu, 25 Jun 2026 11:01:19 GMT检索增强生成 (RAG) 架构深度解析与落地挑战https://oh-bug.com/zh/posts/rag-architecture-deep-dive/https://oh-bug.com/zh/posts/rag-architecture-deep-dive/解析 RAG 的技术架构与优化路径，从文档分块、向量化检索、重排(Rerank)到模型生成，探讨如何解决企业私有知识库的问答准确率瓶颈。Thu, 25 Jun 2026 11:00:00 GMT大模型生产化落地指南：如何设计工业级 LLM 评估与自动化回归测试系统https://oh-bug.com/zh/posts/llm-production-evaluation-regression-testing-guide/https://oh-bug.com/zh/posts/llm-production-evaluation-regression-testing-guide/深入探讨大模型进入生产环境面临的静默失败痛点，系统解析如何构建包含黄金数据集、LLM-as-a-judge 机制以及 CI/CD 回归测试的工业级评估流水线，助你攻克 AI 系统设计面试。Thu, 25 Jun 2026 10:06:32 GMTPrompt Engineering 核心原则与高阶技巧指南https://oh-bug.com/zh/posts/prompt-engineering-guide/https://oh-bug.com/zh/posts/prompt-engineering-guide/深入探讨大语言模型(LLM)提示词设计的核心原则，包含零样本、少样本提示、思维链(CoT)及结构化Prompt设计，助你掌握大模型交互的艺术。Thu, 25 Jun 2026 10:00:00 GMT