标签：quantization

共 5 篇文章

• LLM 权重量化上线生产实战：用 Calibration Set、FP8/W4A16 双轨基准与 Quality Gate 防止质量回退

  大模型权重量化不能只看显存下降。本文结合 vLLM、LLM Compressor 与 TensorRT-LLM，给出校准集选择、FP8/W4A16 双轨基准、硬件匹配、质量门禁与灰度回滚的完整生产上线方法。

  2026/08/31 llm-serving / quantization / fp8 / awq / model-deployment

• KV Cache Quantization 生产实战：用低精度缓存降低长上下文推理显存

  系统讲解 KV Cache Quantization 的原理、工程落地、评估指标与上线风险，覆盖 FP8/INT8/INT4 选型策略、vLLM 与 Transformers 实战代码、安全对齐风险及灰度发布路径，帮助团队在长上下文推理中有效降低显存压力并保障服务质量。

  2026/06/30 LLM / KV Cache / Inference / Quantization / LLMOps

• KV Cache Quantization 实战：长上下文推理的显存与吞吐治理

  KV Cache 量化不是简单把缓存改成低精度，而是围绕显存容量、注意力带宽、模型精度、校准数据和线上回退策略的一整套推理服务治理方案。

  2026/06/30 LLM Serving / KV Cache / Quantization / Long Context

• 大模型量化实战：FP8、INT4、AWQ 与生产推理的取舍

  从FP8、INT4、AWQ、GPTQ到KV Cache量化，系统讲清大模型推理量化的收益、风险、选型方法和上线检查清单，帮助LLM推理工程师做出可落地的量化决策。

  2026/06/29 LLM Inference / Quantization / vLLM / TensorRT-LLM / Model Serving

• LLM Quantization Engineering：生产推理不能只看位宽

  本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。

  2026/06/26 LLM Inference / Quantization / AWQ / GPTQ / AI Infrastructure