15 评估、反馈与持续改进
本章产出: 离线评估、线上监控和业务反馈的闭环。
评估应区分数据质量、检索质量、生成质量、工具执行质量和业务结果。单一回答准确率无法解释系统问题出在数据、检索、模型还是流程。
反馈数据本身也是数据产品:需要定义采集时机、标签体系、隐私边界、归因方式和进入下一轮优化的流程。
本章产出: 离线评估、线上监控和业务反馈的闭环。
评估应区分数据质量、检索质量、生成质量、工具执行质量和业务结果。单一回答准确率无法解释系统问题出在数据、检索、模型还是流程。
反馈数据本身也是数据产品:需要定义采集时机、标签体系、隐私边界、归因方式和进入下一轮优化的流程。