LLM 原理与推理优化题（L01–L20）
20 道 Transformer、KV Cache、微调与服务题。
先讲机制，再说明它如何影响 Agent 的成本、延迟或能力。
建议先口答 60～90 秒，再展开【追问问题】。不要背句子，要说清判断依据和取舍。
L01｜Transformer 为什么适合大语言模型？
简明答案： Transformer 用自注意力直接建模任意 Token 间关系，训练时可并行处理序列，比循环网络更易扩展。代价是标准注意力对序列长度呈平方级计算与显存增长。
【追问问题】
- Self-Attention 的输入输出是什么？
- 长上下文为什么昂贵？
关联知识： Transformer 与注意力
L02｜Self-Attention 的 Q、K、V 怎么理解？
简明答案： Q 表示当前位置想找什么，K 表示各位置能匹配什么，QK 相似度经缩放和 Softmax 得到权重，再对 V 加权汇总。三者都是输入隐藏状态经过不同线性投影得到。
【追问问题】
- 为什么除以 sqrt(dk)？
- Mask 在哪里生效？
关联知识： Transformer 与注意力
L03｜Multi-Head Attention 有什么作用？
简明答案： 多个头在不同投影子空间并行关注不同关系，再拼接映射。它增加表达能力，但不能保证每个头都有可解释语义；头数增加也会改变计算和 KV Cache 形态。
【追问问题】
- MHA、MQA、GQA 有何区别？
- 为什么有些注意力头可以剪枝？
关联知识： 注意力与 KV Cache
L04｜位置编码为什么必要？RoPE 的核心思路是什么？
简明答案： 纯注意力本身不感知顺序。RoPE 依据位置旋转 Q、K 向量，使注意力分数包含相对位置信息；外推到训练长度之外仍需评测，不能只看支持的最大窗口。
【追问问题】
- 绝对位置与相对位置有何区别？
- RoPE scaling 有何风险？
关联知识： 位置编码与长上下文
L05｜Decoder-only 模型如何生成文本？
简明答案： 先对全部输入做 Prefill，随后每次 Decode 预测下一个 Token，并把选中的 Token 追加后继续，直到停止条件。生成天然串行，因此首 Token 延迟和单 Token 延迟要分开看。
【追问问题】
- Prefill 与 Decode 哪个更吃算力？
- Streaming 改善哪种体验？
关联知识： LLM 推理过程
L06｜KV Cache 是什么？
简明答案： 自回归解码时保存历史 Token 各层的 Key、Value，后续只计算新 Token，避免重复处理全部前缀。它用显存换速度，长度、层数、并发和 KV 头数都会影响占用。
【追问问题】
- 为什么 KV Cache 不缓存 Q？
- GQA 如何减少 KV Cache？
关联知识： 注意力与 KV Cache
L07｜Prefill 和 Decode 的性能特征有何不同？
简明答案： Prefill 一次处理长输入，通常计算密集且适合大矩阵并行；Decode 每步只生成少量 Token，常受显存带宽和 KV Cache 访问限制。服务端应分别监控 TTFT 与 TPOT。
【追问问题】
- TTFT、TPOT 分别是什么？
- Continuous batching 更帮助哪一段？
关联知识： LLM 推理过程
L08｜FlashAttention 为什么更快？
简明答案： 它不改变注意力数学结果，而是用分块与在线 Softmax 减少 HBM 和片上 SRAM 之间的数据搬运，避免物化完整注意力矩阵。重点是 IO 感知，不是近似注意力。
【追问问题】
- 它是否改变 O(n²) 计算复杂度？
- 为什么实际墙钟时间能明显下降？
关联知识： 推理与显存优化
L09｜什么是 PagedAttention？
简明答案： 它借鉴操作系统分页管理 KV Cache，把逻辑连续序列映射到非连续显存块，减少碎片并支持共享前缀，从而提高并发服务利用率。它优化的是服务内存管理，不改变模型权重。
【追问问题】
- 它与 FlashAttention 有何区别？
- 为什么对高并发重要？
关联知识： 推理与显存优化
L10｜量化的 INT8、INT4 在做什么？
简明答案： 量化用更低位宽表示权重或激活，减少显存和带宽并可能加速推理。位宽越低不一定越快或越准，取决于硬件内核、校准方法和任务敏感度。
【追问问题】
- 权重量化与 KV Cache 量化有何区别？
- 如何评测量化损失？
关联知识： 量化与模型压缩
L11｜什么是 Speculative Decoding？
简明答案： 小模型先草拟多个 Token，大模型并行验证并接受正确前缀，以减少大模型串行解码步数。输出分布可保持一致，但收益取决于草稿接受率和额外验证成本。
【追问问题】
- 接受率受什么影响？
- 何时反而更慢？
关联知识： 推理与显存优化
L12｜SFT、RLHF、DPO 分别解决什么？
简明答案： SFT 用示范学习目标行为；RLHF 通过偏好、奖励模型和强化学习优化；DPO 直接从偏好对优化策略，链路更短。它们改变模型行为，不适合替代需要实时更新事实的 RAG。
【追问问题】
- DPO 为什么不需要显式奖励模型？
- 数据质量对哪一步最关键？
关联知识： 微调与对齐方法
L13｜LoRA 的核心原理是什么？
简明答案： 冻结原权重，只训练低秩矩阵表示权重增量，显著减少可训练参数和优化器状态。它降低训练资源，不意味着任何任务都能保持全量微调效果。
【追问问题】
- rank 和 alpha 如何影响？
- QLoRA 又增加了什么？
关联知识： LoRA 与参数高效微调
L14｜RAG、Prompt、微调如何选择？
简明答案： 知识更新、私有数据和引用优先 RAG；行为格式先用 Prompt 和 Schema；稳定的大量行为样本、风格或领域能力再考虑微调。三者可组合，但先建立最简单可评测基线。
【追问问题】
- 工具选择差该先微调吗？
- 微调后为什么仍可能幻觉？
关联知识： RAG、微调与提示词选择
L15｜困惑度 Perplexity 能评价 Agent 吗？
简明答案： 困惑度衡量语言模型对 Token 序列的预测不确定性，适合语言建模，不直接代表任务完成、工具正确或安全。Agent 必须用环境结果、轨迹和工程指标评测。
【追问问题】
- 低困惑度为何仍会答错？
- Agent 最重要的离线指标是什么？
关联知识： Agent 评测体系
L16｜Temperature、top-p 和 top-k 如何作用？
简明答案： 它们控制从概率分布采样的范围和随机度。温度缩放 logits，top-p 保留累计概率集合，top-k 限制候选数量；不同模型/API 支持不同，不能机械套参数。
【追问问题】
- 结构化任务如何设置？
- 为什么同参数仍不完全复现？
关联知识： 采样、停止与输出控制
L17｜什么是上下文中的 Lost in the Middle？
简明答案： 模型对长上下文不同位置的信息利用可能不均，中间信息容易被忽视。解决思路是精确检索、把关键证据靠近问题、去重压缩和分阶段处理，而非只换更大窗口。
【追问问题】
- 如何设计实验验证？
- Rerank 能否完全解决？
关联知识： 位置编码与长上下文
L18｜模型参数知识和外部知识有什么区别？
简明答案： 参数知识来自训练并压缩在权重中，难以精确更新和引用；外部知识在数据库、文档或 API 中，可实时更新、授权和追溯，但需要检索与工具访问。
【追问问题】
- 模型知道知识截止日期吗？
- 什么时候调用搜索而不是 RAG？
关联知识： RAG、微调与提示词选择
L19｜Reasoning Model 与普通 Chat Model 如何选？
简明答案： 复杂、多约束、长程规划可用推理能力更强的模型；抽取、分类和格式化优先低延迟模型。最终以任务评测、成本和延迟为准，不能只看模型标签。
【追问问题】
- Reasoning effort 如何调？
- 为什么复杂模型可能在简单任务上更差？
关联知识： 模型选型
L20｜如何估算模型服务显存？
简明答案： 粗略分为权重、KV Cache、激活/工作区和运行时开销。权重由参数量×位宽估算，KV Cache 随层数、KV 头维度、序列长度、批量与并发增长，最终还要实测框架碎片和峰值。
【追问问题】
- 70B FP16 权重大约多少？
- 为什么并发一高就 OOM？
关联知识： LLM 服务容量估算