Agent 评测 · 2026-09-02 · 10 min

Agent 评测别玄学:22 个指标怎么选

在评测中台项目里我沉淀了 22 个内置指标。指标不在多,在于每个都能回答一个业务问题,并且稳定可复现。

#评测#LLM-as-a-Judge#指标体系

01 先分层,再选指标

三层指标:检索 / 生成 / 行为

检索层看有没有找对材料,生成层看有没有用对材料,行为层看工具调用与任务是否完成。三层混在一起,你就永远不知道问题出在哪。

层级代表指标是否确定性
检索HitRate@K / MRR / Context Precision确定性
生成Faithfulness / Relevancy / 术语一致性Judge
行为Task Completion / Tool Correctness确定性 + Judge

确定性指标优先

能算出来的不要问模型。工具名对不对、参数结构对不对、JSON 能不能解析,这些用代码判定,零成本且不漂移。

def tool_correctness(call, expected):
    name_ok = call.name == expected.name
    args_ok = all(call.args.get(k) == v for k, v in expected.args.items())
    return 1.0 if name_ok and args_ok else 0.0

02 打分理由必须落库

没有理由的分数无法复盘

每条 Judge 评分都持久化 score 与 ≤800 字理由。出问题时你能看到模型为什么给 0.4,而不是重跑一次祈祷它变好。

人工校准是护栏

随机抽 30 条人工打分,与 Judge 的一致性低于阈值时,先修 prompt 或指标定义,不要相信批量结果。

03 A/B 盲测补上「人类偏好」

用哈希打乱左右

MD5(sample_id) 的奇偶决定 A/B 展示顺序,避免位置偏置。输出结构化对比与胜率,和自动指标互为证据。

const flip = md5(String(row.id)).charCodeAt(0) % 2 === 0
const left = flip ? row.b : row.a
const right = flip ? row.a : row.b