🧠 LLM 原理与推理优化
位置编码与长上下文
LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
位置编码为什么必要？RoPE 的核心思路是什么？
纯注意力本身不感知顺序。RoPE 依据位置旋转 Q、K 向量，使注意力分数包含相对位置信息；外推到训练长度之外仍需评测，不能只看支持的最大窗口。
继续想： 绝对位置与相对位置有何区别？；RoPE scaling 有何风险？
什么是上下文中的 Lost in the Middle？
模型对长上下文不同位置的信息利用可能不均，中间信息容易被忽视。解决思路是精确检索、把关键证据靠近问题、去重压缩和分阶段处理，而非只换更大窗口。
继续想： 如何设计实验验证？；Rerank 能否完全解决？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L04 位置编码为什么必要？RoPE 的核心思路是什么？ · L17 什么是上下文中的 Lost in the Middle？