生成结果错误排查
生成结果错误，判断是否检索错了还是模型生成错了，检索日志，从日志判断检索的内容，是否包含了结果，如果没有，则需要检查检索的链路，如果检索结果没问题，需要检查大模型生成逻辑
- 先看检索结果里有没有正确答案；有答案但模型没答对，是生成问题；没答案，是检索链路问题。
核心排查逻辑
| 排查点 | 判断方式 | 结论 |
|---|---|---|
| 检索结果中不包含正确答案 | 查看检索日志、召回 chunks、metadata、score | 检索链路有问题 |
| 检索结果中包含正确答案，但模型回答错 | 查看 Prompt、上下文拼接、模型输出 | 生成链路有问题 |
| 检索结果包含部分答案，但不完整 | 查看 chunk 切分、top_k、rerank、过滤条件 | 检索质量不足 |
| 检索到了正确文档，但模型没用 | 查看 prompt 是否要求“基于上下文回答” | Prompt / 生成约束问题 |
| 检索到了错误版本内容 | 查看 metadata、文档版本、更新时间、权限过滤 | 数据版本或过滤问题 |
检索结果没有答案排查
- 查解析、切分、embedding、入库、top_k、rerank、过滤条件
检索结果有答案，但模型没答对
- 查 prompt、上下文拼接、模型参数、历史对话、输出约束