🔎 RAG 深入与知识工程
RAG 评测指标
RAG 深入与知识工程专题:用 2 个核心问题讲清原理、取舍与落地。
一句话定位
切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。
核心原理与问题解析
Recall@K、MRR、nDCG 分别看什么?
Recall@K 看相关结果是否进入前 K;MRR 强调第一个相关结果排名;nDCG 考虑多条结果的分级相关性与位置。选择取决于一个还是多个证据能回答。
继续想: Precision@K 何时重要?;指标高为何答案仍差?
Faithfulness 与 Answer Relevance 有何区别?
Faithfulness 看回答是否由证据支持,Answer Relevance 看是否回答用户问题。回答可能相关但无证据,也可能忠于证据却答非所问,应分开评分。
继续想: 如何做自动评分?;引用正确率又是什么?
工程落地检查
- 文档保留来源、版本、时间和 ACL
- 检索层与生成层分开评测
- 从关键词+向量的简单基线开始
- 答案必须能定位到证据片段
- 索引迁移支持双写、双读和回滚
常见误区
- 盲目追求更大的 Chunk 或 Top-K
- 更换 Embedding 却不重建索引
- 只看回答流畅度,不测召回和忠实度
对应面试题
R19 Recall@K、MRR、nDCG 分别看什么? · R20 Faithfulness 与 Answer Relevance 有何区别?