RAG 工程化 · 2026-08-08 · 11 min
RSI 自进化:让评测反向修改系统
把「失败归因 → 优化提案 → 影子回归 → 验收写回」做成流水线,指标才能自己往上走。前提是可审批、可回滚、可审计。
01 四步闭环
失败归因要机器可读
把 badcase 归到具体维度:检索缺失、引用错误、工具参数错、拒答失败。归因维度固定,优化提案才能被自动化生成。
{
"case_id": "eval_0341",
"failure_class": "retrieval_miss",
"evidence_ids": ["doc_88#p3"],
"proposal": { "kind": "chunking", "from": 512, "to": 384 }
}
影子回归与验收口径
任何提案先在影子环境跑全量评测:目标指标增益 ≥ 0.03,受保护指标降幅 ≤ 0.02,否则自动拒绝。通过后写回并要求人工审批。
- 目标增益 ≥ 0.03
- 受保护指标降幅 ≤ 0.02
- 每次变更保留 diff 与评测快照
- 一键回滚到上一个稳定版本
02 别让系统自己放飞
三层刹车
白名单提案类型、收益门槛、人工审批。三层刹车缺一层,自进化就会变成自走炮。
自动化的边界,是你敢不敢让它半夜改生产。