🔎 RAG 深入与知识工程
多模态 RAG
RAG 深入与知识工程专题：用 1 个核心问题讲清原理、取舍与落地。
一句话定位
切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题，不把 RAG 当成单一向量搜索。
核心原理与问题解析
多模态 RAG 的难点是什么？
要解析文本、图片、表格、音视频并保留页码、区域或时间锚点；还要选择跨模态 Embedding、重排和引用方式。仅做 OCR 会丢布局与视觉关系。
继续想： 表格问答如何处理？；图片引用怎样定位？
工程落地检查
- 文档保留来源、版本、时间和 ACL
- 检索层与生成层分开评测
- 从关键词+向量的简单基线开始
- 答案必须能定位到证据片段
- 索引迁移支持双写、双读和回滚
常见误区
- 盲目追求更大的 Chunk 或 Top-K
- 更换 Embedding 却不重建索引
- 只看回答流畅度，不测召回和忠实度