🔎 RAG 深入与知识工程
Reranker 原理与实践
RAG 深入与知识工程专题:用 2 个核心问题讲清原理、取舍与落地。
一句话定位
切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。
核心原理与问题解析
Bi-Encoder 与 Cross-Encoder 有何区别?
Bi-Encoder 分别编码 Query 和文档,适合大规模召回;Cross-Encoder 联合编码成对文本,精度高但计算贵,通常用于 Top-K 重排。
继续想: 为何 Cross-Encoder 不能直接全库搜索?;训练难负样本怎么选?
Rerank 应放在哪里?
先由快速检索召回较大候选,再对过滤后的候选重排,最后选择能放入上下文的少量证据。过早重排成本高,过晚则浪费在无权限或重复内容上。
继续想: Top-K 和 Top-N 如何定?;如何评测重排增益?
工程落地检查
- 文档保留来源、版本、时间和 ACL
- 检索层与生成层分开评测
- 从关键词+向量的简单基线开始
- 答案必须能定位到证据片段
- 索引迁移支持双写、双读和回滚
常见误区
- 盲目追求更大的 Chunk 或 Top-K
- 更换 Embedding 却不重建索引
- 只看回答流畅度,不测召回和忠实度
对应面试题
R02 Bi-Encoder 与 Cross-Encoder 有何区别? · R11 Rerank 应放在哪里?