标签：Performance Engineering

共 2 篇文章

• LLM Tokenizer 前处理池生产实战：用异步 Tokenizer Pool、长度感知队列与 CPU 亲和避免 GPU 饥饿

  大模型服务的瓶颈不一定在GPU。本文讲清如何拆分Tokenizer前处理池，利用异步批量编码、长度感知队列、CPU亲和与背压指标，避免长提示词阻塞请求并让GPU持续获得可执行批次。

  2026/07/22 LLM Serving / Tokenizer / Performance Engineering / CPU Optimization / vLLM

• LLM GPU 能效治理生产实战：用分阶段 Clock Lock、Joules/Token 与热降频门禁守住吞吐

  只给 GPU 设置 Power Cap，往往忽略 Prefill 与 Decode 的负载差异。本文讲解如何用分阶段时钟、每 Token 能耗和热降频门禁，在不破坏延迟 SLO 的前提下治理推理能效。

  2026/07/13 LLM Serving / GPU Energy Efficiency / NVIDIA DCGM / Clock Lock / Performance Engineering