🔤 LLM 必备基础
Token、上下文窗口与推理
理解模型如何读取信息，以及长上下文为何不是越长越好。
- Token 是模型处理内容的单位，长度、成本与速率限制常按 Token 计算。
- 上下文窗口 是一次请求可容纳的输入与输出总范围。
- 推理 是模型根据指令与上下文产生内容或动作，不等于访问事实数据库。
大窗口解决“装得下”，不保证“找得准”。旧对话、重复文档和超长工具结果会增加延迟、费用与注意力干扰。治理顺序通常是：删除无关内容 → 结构化关键状态 → 压缩已完成阶段 → 按需检索原文。
温度、top-p 等采样参数影响输出分布，但模型仍可能非确定。严格业务流程要靠 Schema、规则、验证器和状态机，而不是只把温度调低。
常见误区
- 窗口足够大就不需要 RAG：RAG 还负责更新、权限、引用与精确召回。
- 模型说得流畅就是正确：流畅度与事实正确性不同。
- 同样输入必有同样输出：模型服务与工具环境也可能变化。