跳到主要内容

RAG 指标按流程理解

RAG 阶段主要问题重点指标
文档导入文档有没有解析成功文档解析成功率、乱码率、表格保留率
文档切分答案有没有被切坏分块答案覆盖率、平均 chunk 长度、chunk overlap
向量化embedding 是否正常embedding 成功率、向量维度、向量生成耗时
初始检索能不能搜到正确内容Recall@K、Hit Rate@K、Source Recall、Answer Recall
混合检索向量 + 关键词效果如何Hybrid Recall@K、BM25 Recall、Vector Recall
重排序正确内容能不能排前面Rerank Recall@K、MRR、NDCG@K
上下文构造最终给模型的材料是否包含答案Prompt 含答案率、Context Recall、Context Precision
模型生成模型有没有答对Exact Match、F1、Faithfulness、Answer Relevance
溯源引用答案是否有根据Citation Accuracy、Groundedness
性能成本能不能跑得快、便宜、稳定Latency、Cost、Token、Cache Hit Rate、Error Rate