跳到主要内容

向量模型

OpenAIEmbeddings 和HuggingFaceEmbeddings 对比​

  • OpenAIEmbeddings使用的是线上模型
    • OpenAIEmbeddings 是 LangChain 对 OpenAI Embedding API 的封装
  • HuggingFaceEmbeddings使用的是本地、私有化部署模型
    • 通常在本地加载 Hugging Face 模型运行
对比项OpenAIEmbeddingsHuggingFaceEmbeddings
模型运行位置OpenAI 服务器通常在本地或自己的服务器
是否需要联网需要模型下载完成后可离线运行
是否需要 API Key需要本地运行通常不需要
费用按输入 Token 计费模型免费,但需要本地计算资源
部署难度简单,不需要维护模型需要下载模型和安装推理依赖
首次启动较快首次需要下载模型
后续速度受网络和 API 延迟影响受 CPU、GPU 性能影响
数据流向文本发送到远程 API本地运行时文本不离开服务器
向量维度由 OpenAI 模型及参数决定由所选 Hugging Face 模型决定
模型选择相对集中非常丰富,可针对中文优化
批量生成成本产生 API 调用费用主要是机器计算成本
运维成本较低较高,需要维护运行环境
适合场景快速上线、低运维私有化、大批量、中文定制