跳到主要内容

大量短句向量化

  • 大量短句是如何切片呢？
  • 处理短且离散的QA对或短句列表
  • 短句向量优化发生在知识入库阶段：完整短句可以独立向量化，不完整短句要补充标题、分类或上下文
    • 完整短句可以独立向量化，那么短句是如何切片？
      • 完整短句本身就可以直接作为一个 Chunk，不需要再切
    • 不完整的短句要补充标题、分类、上下文，如何补充？
      • 生成向量之前，将当前短句所属的标题、章节或主体拼接到短句前面

不要使用大分块​

如果原始文档存在很多短句，如果全部拆成大分块的话，就会包含大量的无关内容

  • 会存在大量的噪音
  • LLM大模型会接收到多个不相关的答案，会导致大模型生成的准确度降低

List Index​

  • 目前List Index已经改名为SummaryIndex
  • List Index是列表索引
  • 可以不用向量，按顺序串联
  • 核心思路：不尽兴复杂的向量搜索，而是把所有的文档块（Nodes）像串珠子一样，按照原始文档的顺序串联起来，形成一个有序的列表

List Index场景​

  • List Index 适用于:
      1. 数据量小(所有数据加起来不超过 LLM 的上下文窗口)。
      1. 数据顺序很重要(如按时间线排列)。
  • 它是一种成本最低(不需要 Embedding 模型)、最简单的索引,但如果您的文档非常大, 就必须用 VectorStoreIndex。