Agent 评测 · 2026-08-21 · 9 min
Harness:给 Agent 装上方向盘
Harness 不是框架,是约束。它负责把不确定的模型输出,变成可追踪、可回归、可回滚的工程行为。
01 Harness 到底管什么
四个抓手:上下文 / 工具 / 预算 / 验收
- 上下文:注入什么、裁剪什么、什么时候压缩
- 工具:权限边界、参数校验、失败重试
- 预算:token、步数、时长三重熔断
- 验收:每次运行留痕,可回归
把这四件事写进代码而不是 prompt,Agent 才不会在长会话里「逐渐失控」。
越权就返回 404
工具层做租户隔离与资源鉴权,越权直接拒绝,而不是让模型「礼貌地」跳过。安全靠代码,不靠提示词。
if (!ctx.ownedResources.has(resourceId)) {
throw new NotFoundError() // 不暴露存在性
}
02 回归用例进 CI
12 条用例,比 1000 条灵感有用
挑最容易坏、影响最大的路径写成回归用例:越权、空知识库、工具超时、上下文超长、拒答诚实度。每次 PR 跑一遍,红了就修。