标签：Token Budget

共 3 篇文章

• LLM 预训练数据配比生产实战：用 Mixture Manifest、Token Budget 与 Domain Loss Feedback 控制能力偏置

  系统讲解大模型预训练数据配比的工程化治理方法：以不可变 Mixture Manifest 固化域权重与语料版本，用 Token Budget 精确记账，结合代理模型搜索、域损失反馈、饥饿保护与回放门禁持续校准能力结构，让配比从概率参数升级为可审计可复现的训练契约。

  2026/07/29 LLM Pretraining / Data Mixture / DoReMi / RegMix / Data Governance / Token Budget / Mixture Manifest

• LLM 输出长度治理生产实战：用 Finish Reason、Token 预算与续写策略避免答案半截

  本文从大模型答案半截、续写失控和成本抖动入手，讲解如何用 Finish Reason、Token 预算、长度分级、续写账本和上线门禁治理输出完整性，减少用户看到不完整答案的风险。

  2026/07/10 LLM API / Token Budget / Finish Reason / Reliability / Production Engineering

• LLM 多租户配额网关生产实战：用 Token 预算、速率限制与公平调度守住共享模型池

  面向共享大模型推理平台，系统讲解多租户配额网关如何通过请求速率、Token 预算、公平调度、成本归因与降级策略，避免少数租户拖垮共享模型池并控制账单风险。

  2026/07/09 LLM Gateway / Rate Limit / Multi Tenant / Inference Serving / Cost Control / Fair Scheduling / Token Budget