跳到主要内容

嵌入模型

如何选择一个合适的嵌入模型​

  • 选择合适的嵌入模型（Embedding Model）是决定RAG系统检索效果的基石。一个好的嵌入模型应该能够将语义相近的文本映射到向量空间中相近的位置
  • 选择 Embedding 模型时，不但只看公开排行榜，而是会结合业务场景评估

公开排行榜​

MTEB 全称是 Massive Text Embedding Benchmark，表示：大规模文本向量嵌入评测基准

  • Massive: 大规模的
  • Benchmark：基准测试 / 评测标准

评估一个 Embedding 模型的好坏有哪些指标​

MRR：正确答案第一次出现的位置越靠前，分数越高

NDCG：所有相关答案整体排得越靠前，分数越高

  • 关注检索召回率，比如 Recall@5、Recall@10
  • 关注排序质量，比如 MRR、NDCG
    • MRR：Mean Reciprocal Rank
      • 正确答案排的位置
      • 衡量第一个相关文档出现在第几位
    • NDCG：Normalized Discounted Cumulative Gain
      • 多个相关文档整体排序
  • 语义相似度能力：STS
    • STS 是 Semantic Textual Similarity，也就是语义相似度