RAG工程化治理问题

RAG 上线后还会遇到很多工程问题

• 文档解析任务耗时长
• 大文件处理失败
• embedding 成本高
• 向量库写入慢
• 并发检索延迟高
• 不知道某个答案用了哪些 chunk
• 缺少日志和 tracing
• 不支持回滚问题

工程化解决方案

• 使用异步队列处理文档入库
• 大文件分批解析
• embedding 批量调用
• 记录 query / chunks / prompt / answer
• 增量更新
• 检索缓存
• 增加 tracing 和监控
• 支持版本回滚
• 建立离线评估和线上反馈机制