AI 知识库首页

文档切分策略

RAG 深入与知识工程专题:用 3 个核心问题讲清原理、取舍与落地。

一句话定位

切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。

核心原理与问题解析

Chunk Size 和 Overlap 如何选?

在语义完整、检索粒度、上下文成本间权衡。先按结构切,再用代表性问题评测;Overlap 可保护边界,但过大会重复召回和浪费 Token。

继续想: 代码和表格怎样切?;父子 Chunk 有何价值?

Parent-Child Retrieval 是什么?

用较小子块做精确召回,命中后返回更完整父块给模型,在召回精度和上下文完整性间折中。父子映射和去重是关键。

继续想: 父块多大合适?;如何避免多个子块返回同一父块?

Semantic Chunking 有何优缺点?

根据语义变化或模型判断边界,比固定长度更自然;但预处理成本高、结果不稳定,且未必提高特定查询的召回。必须和简单基线比较。

继续想: 如何定义语义断点?;哪些文档不适合?

工程落地检查

  • 文档保留来源、版本、时间和 ACL
  • 检索层与生成层分开评测
  • 从关键词+向量的简单基线开始
  • 答案必须能定位到证据片段
  • 索引迁移支持双写、双读和回滚

常见误区

  • 盲目追求更大的 Chunk 或 Top-K
  • 更换 Embedding 却不重建索引
  • 只看回答流畅度,不测召回和忠实度

对应面试题

R03 Chunk Size 和 Overlap 如何选? · R04 Parent-Child Retrieval 是什么? · R05 Semantic Chunking 有何优缺点?

延伸资料

RAG 原始论文 · Self-RAG · Corrective RAG · Microsoft GraphRAG