🧠 LLM 原理与推理优化

LLM 推理过程

LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。

最后更新：2026年9月9日Markdown 知识文档

一句话定位

从 Transformer 到微调、量化和在线推理容量。回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。

先对全部输入做 Prefill，随后每次 Decode 预测下一个 Token，并把选中的 Token 追加后继续，直到停止条件。生成天然串行，因此首 Token 延迟和单 Token 延迟要分开看。

继续想： Prefill 与 Decode 哪个更吃算力？；Streaming 改善哪种体验？

Prefill 一次处理长输入，通常计算密集且适合大矩阵并行；Decode 每步只生成少量 Token，常受显存带宽和 KV Cache 访问限制。服务端应分别监控 TTFT 与 TPOT。

继续想： TTFT、TPOT 分别是什么？；Continuous batching 更帮助哪一段？