🧠 LLM 原理与推理优化
RAG、微调与提示词选择
LLM 原理与推理优化专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
从 Transformer 到微调、量化和在线推理容量。 回答时沿着“数学机制 → 计算/显存代价 → 对 Agent 的影响”展开。
核心原理与问题解析
RAG、Prompt、微调如何选择？
知识更新、私有数据和引用优先 RAG；行为格式先用 Prompt 和 Schema；稳定的大量行为样本、风格或领域能力再考虑微调。三者可组合，但先建立最简单可评测基线。
继续想： 工具选择差该先微调吗？；微调后为什么仍可能幻觉？
模型参数知识和外部知识有什么区别？
参数知识来自训练并压缩在权重中，难以精确更新和引用；外部知识在数据库、文档或 API 中，可实时更新、授权和追溯，但需要检索与工具访问。
继续想： 模型知道知识截止日期吗？；什么时候调用搜索而不是 RAG？
工程落地检查
- 先画清输入、输出和张量/状态的变化
- 区分训练、Prefill 与 Decode
- 同时比较质量、吞吐、延迟和显存
- 用目标硬件与真实任务压测
- 模型、Tokenizer 和推理参数共同版本化
常见误区
- 只背名词，不解释为什么影响系统
- 把理论复杂度直接等同实际速度
- 只看模型榜单，不测业务任务
对应面试题
L14 RAG、Prompt、微调如何选择？ · L18 模型参数知识和外部知识有什么区别？