RAG--RAG离线流程开发
RAG–RAG离线流程开发0.离线服务流程流程图   离线流程的开发主要涉及两个脚本: 文件上传服务功能app_file_upload.py 向量知识库管理knowledge_base.py    1.文件上传服务123456789101112131415161718192021222324252627282930313233""
RAG--检索优化
RAG–检索优化0.前言  在前面提到的多种分块办法后，接下来便是优化RAG的检索模块，这里我们主要从三个方面入手    1.优化数据源（构建高质量的索引）1.1父文档检索器  父文档检索器，在索引阶段将文档切分为子文档，同时保留父文档的完整消息，在检索阶段，通过子文档匹配返回完整的父文档。 1.2生成QA对 &emsp
RAG--文本分块
RAG–文本分块0.前言  前面我们提到了在RAG的流程中首先是需要进行分块，基于LLM上下文长度的限制以及西凉检索对语义完整性的依赖，如何进行高质量文本分块就成为了一个首要问题。    1.理想的分块标准 平衡消息密度与上下文完整性 关键参数     用chunk_size控制大小（一般是256/512/1024的
RAG--RAG介绍
RAG–RAG介绍1.RAG的由来  通用的基础大模型存在以下的一些问题： 实时性：LLM的知识不是实时的，模型训练好后不具备自动更新知识的能力，会导致部分信息滞后 知识覆盖度：LLM领域知识是缺乏的，大模型的知识来源于训练数据，这些数据主要来自公开的互联网和开源数据集，无法覆盖特定领域或高度专业化的内部知识 高幻觉：LLM有时会在回答中生成看似合理但实际上是错误的信息 数据
AI--LangChain的向量
AI–LangChain的向量1.向量的概念  从前面的流程图中，涉及到了向量的相关概念，向量库是RAG中的一个重要节点 离线流程：知识和信息 -> 向量嵌入 (向量化) -> 存入向量库 在线流程：用户的提问 -> 向量嵌入 (向量化) -> 在向量库中匹配   向量简单来说就是文本的数字身份证，它将一段文字的语义信息，转换成一
AI--LangChain文档加载器
AI–LangChain文档加载器1.文档加载器  文档加载器提供了一套标准接口，用于将不同来源（CSV PDF JSON等）的数据读取为LangChain的文档格式，这样子确保了无论数据的来源如何，都能对其进行一致性的处理，需要实现BaseLoader接口   CLass Document是LangChain内文档的统一载体，所有文档加载器最终返回的都是
AI--LangChain会话记忆
AI–LangChain会话记忆1.Memory临时会话记忆  在大模型的使用中，免不了要封装历史记录的功能，而除了自行维护历史消息外，也可以借助LangChain内置的历史记录附加功能，LangChain提供了History功能，帮助模型在有历史记忆的情况下进行回答 RunnableWithMessageHistory   在原有链的基础上创建带有历史
AI--LangChain的链
LangChain的链1.[扩展]或运算符的重写  在前文中，我们有提到一串使用了链的代码： 1chain = chat_template | model   其本质是在语法上使用了丨运算符的重写，在python中，运算符（如 +、|）的行为由类的魔法方法决定的（什么是魔法方法可以查看Python中的总结），例如图： a + b本质是调用的 a.add(