🧠 LLM 原理与推理优化
Transformer 与注意力
LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
Transformer 为什么适合大语言模型？
Transformer 用自注意力直接建模任意 Token 间关系，训练时可并行处理序列，比循环网络更易扩展。代价是标准注意力对序列长度呈平方级计算与显存增长。
继续想： Self-Attention 的输入输出是什么？；长上下文为什么昂贵？
Self-Attention 的 Q、K、V 怎么理解？
Q 表示当前位置想找什么，K 表示各位置能匹配什么，QK 相似度经缩放和 Softmax 得到权重，再对 V 加权汇总。三者都是输入隐藏状态经过不同线性投影得到。
继续想： 为什么除以 sqrt(dk)？；Mask 在哪里生效？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L01 Transformer 为什么适合大语言模型？ · L02 Self-Attention 的 Q、K、V 怎么理解？