RAG 工程化 · 2026-08-08 · 11 min

RSI 自进化:让评测反向修改系统

把「失败归因 → 优化提案 → 影子回归 → 验收写回」做成流水线,指标才能自己往上走。前提是可审批、可回滚、可审计。

#RSI#闭环#可回滚

01 四步闭环

失败归因要机器可读

把 badcase 归到具体维度:检索缺失、引用错误、工具参数错、拒答失败。归因维度固定,优化提案才能被自动化生成。

{
  "case_id": "eval_0341",
  "failure_class": "retrieval_miss",
  "evidence_ids": ["doc_88#p3"],
  "proposal": { "kind": "chunking", "from": 512, "to": 384 }
}

影子回归与验收口径

任何提案先在影子环境跑全量评测:目标指标增益 ≥ 0.03,受保护指标降幅 ≤ 0.02,否则自动拒绝。通过后写回并要求人工审批。

  • 目标增益 ≥ 0.03
  • 受保护指标降幅 ≤ 0.02
  • 每次变更保留 diff 与评测快照
  • 一键回滚到上一个稳定版本

02 别让系统自己放飞

三层刹车

白名单提案类型、收益门槛、人工审批。三层刹车缺一层,自进化就会变成自走炮。

自动化的边界,是你敢不敢让它半夜改生产。