智泊AI–RAG实战课程

 

1.检索技术概念

  关键词检索、全文检索，以及大模型中基于向量的相似度检索，是信息检索领域常用的三种技术：

• 关键词检索：在文本中查找特定关键字来进行检索；
• 全文检索：对文本所有词汇建立索引，能全面搜索文本内容。

  稠密向量（基于词向量的相似度）vs 稀疏向量（全文检索）：

  全文检索基于关键词的统计匹配，侧重精确性与可解析性；大模型相似度基于语义向量的空间距离，侧重语义理解与泛化能力。

  实际应用中三者常结合使用，形成「传统检索（关键词-精确匹配）+ 语义检索（向量-模糊匹配）」的混合架构，以兼顾效率、准确性与语义理解能力。

  什么时候使用混合检索：一般先以向量检索为主，当向量检索效果不达标时，再分析原因：

• 多跳问题 → GraphRAG：涉及多个主体的链式问题（如「奥巴马是谁 → 他夫人是谁 → 他夫人的老师是谁」）；
• 相关性问题 → BM25：
  • 考虑权重：基于权重赋分排序，默认一般 0.7，通过变化寻找拐点；
  • 重排模型：主流做法，通过交叉编码对结果重新排序。

  查询路由：针对不同业务/知识场景，根据提前测试的结果进行路由——按既定规则分析并识别用户意图，再指向不同的检索路径。

 

2.检索流程脚本解析

  本节解析两个脚本：

• bm25_search.py
• hybrid_search.py

  （后续补上，本节主要先建立概念认知。）

  思考：作为向量存储时，是否一定要同时传入向量和对应的原始文档？

  论文地址：arXiv:2603.29875

  统一分数区间（分数归一化，便于多路结果融合排序）。