RAG 指标按流程理解
| RAG 阶段 | 主要问题 | 重点指标 |
|---|---|---|
| 文档导入 | 文档有没有解析成功 | 文档解析成功率、乱码率、表格保留率 |
| 文档切分 | 答案有没有被切坏 | 分块答案覆盖率、平均 chunk 长度、chunk overlap |
| 向量化 | embedding 是否正常 | embedding 成功率、向量维度、向量生成耗时 |
| 初始检索 | 能不能搜到正确内容 | Recall@K、Hit Rate@K、Source Recall、Answer Recall |
| 混合检索 | 向量 + 关键词效果如何 | Hybrid Recall@K、BM25 Recall、Vector Recall |
| 重排序 | 正确内容能不能排前面 | Rerank Recall@K、MRR、NDCG@K |
| 上下文构造 | 最终给模型的材料是否包含答案 | Prompt 含答案率、Context Recall、Context Precision |
| 模型生成 | 模型有没有答对 | Exact Match、F1、Faithfulness、Answer Relevance |
| 溯源引用 | 答案是否有根据 | Citation Accuracy、Groundedness |
| 性能成本 | 能不能跑得快、便宜、稳定 | Latency、Cost、Token、Cache Hit Rate、Error Rate |