稠密向量和稀疏向量

稀疏 = 关键词，稠密 = 语义

• 稠密向量：理解为语义搜索
  • 通过Embedding
  • 稠密可以理解为向量维度坐标，每个位置都是数字，看起来很稠密
• 稀疏向量：理解为关键词搜索
  • 通过BM25
  • 精确词匹配能力强
  • 缺点是不太理解语义
  • 稀疏可以理解为在词库中，关键词的词语在不同的位置，比较分散，看起来就很稀疏
• 一般会稠密向量和稀疏向量会混合使用，形成互补