一、为什么 Agent 需要专门的评估体系?
传统大模型评估通常关注模型输出本身,例如文本是否准确、是否流畅、是否符合预期。但 Agent 不只是生成文本,它还需要理解目标、制定计划、调用工具、维护状态,并根据执行结果不断调整策略。
一个 Agent 即使最终回答看起来正确,也可能存在以下问题:
- 调用了错误的工具,却碰巧得到了正确答案。
- 执行了多余操作,浪费大量 Token 和计算资源。
- 没有验证工具执行结果,直接声称任务已经完成。
- 多步骤任务中前面正确,最后一个关键步骤失败。
- 在简单任务中表现优秀,但遇到复杂环境就无法完成任务。
- 为了完成任务绕过权限限制,产生安全风险。
因此,Agent 评估不能只看最终答案,而需要同时评估整个执行过程。
1. Agent 评估的核心目标
| 评估目标 | 核心问题 | 关注内容 |
|---|---|---|
| 任务完成能力 | 是否完成用户目标? | 成功率、完成度 |
| 推理与规划 | 是否制定合理计划? | 计划质量、步骤合理性 |
| 工具使用 | 是否正确调用工具? | 工具选择、参数准确性 |
| 状态管理 | 是否正确维护任务状态? | 状态一致性、记忆使用 |
| 执行效率 | 是否用较低成本完成任务? | 延迟、Token、调用次数 |
| 鲁棒性 | 面对异常能否继续执行? | 恢复率、容错能力 |
| 安全性 | 是否遵守权限和安全边界? | 越权率、违规操作率 |
| 可解释性 | 是否能够追踪执行过程? | 日志、轨迹、决策依据 |
2. Agent 评估与传统 LLM 评估的区别
| 维度 | 传统 LLM 评估 | Agent 评估 |
|---|---|---|
| 评估对象 | 单次模型输出 | 完整任务执行过程 |
| 输入 | Prompt | 目标、环境、工具和状态 |
| 输出 | 文本或结构化结果 | 结果、工具调用和状态变化 |
| 评价重点 | 正确性、相关性 | 完成度、执行正确性 |
| 执行过程 | 通常不涉及外部操作 | 可能涉及多个工具和系统 |
| 失败类型 | 答案错误、格式错误 | 规划错误、工具错误、状态错误 |
| 评估方式 | 静态数据集 | 静态测试与动态环境测试 |
核心区别是:LLM 评估关注模型说得是否正确,Agent 评估还要关注它做得是否正确。
二、Agent 评估的整体框架
Agent 的执行通常包含多个阶段,每个阶段都可能出现不同类型的问题。
例如,一个数据分析 Agent 需要完成:
- 理解用户的数据分析需求。
- 查找目标数据集。
- 调用数据处理工具。
- 执行统计分析。
- 验证分析结果。
- 生成最终报告。
如果只检查最终报告,就无法判断 Agent 是否正确选择数据、是否执行了正确的计算,也无法发现中间过程中的异常。
因此,需要建立覆盖完整执行链路的评估体系。
1. 端到端评估结构
flowchart TD
A["用户任务"] --> B["任务理解评估"]
B --> C["计划与推理评估"]
C --> D["工具选择评估"]
D --> E["工具执行评估"]
E --> F["状态管理评估"]
F --> G["结果验证评估"]
G --> H["最终任务评估"]
H --> I["综合评分与分析"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
2. 三层评估模型
可以将 Agent 评估分成三个层次。
第一层:结果评估(Outcome Evaluation)
关注任务最终是否成功。
例如:
- 是否生成正确的分析报告?
- 是否成功完成预订?
- 是否正确修改目标文件?
- 是否得到符合要求的查询结果?
第二层:过程评估(Process Evaluation)
关注 Agent 如何完成任务。
例如:
- 是否正确拆解任务?
- 是否选择了正确工具?
- 是否使用了正确参数?
- 是否进行了必要的结果验证?
- 是否发生了不必要的重复调用?
第三层:系统评估(System Evaluation)
关注 Agent 在实际运行环境中的整体表现。
例如:
- 平均响应时间是多少?
- 每个任务消耗多少 Token?
- 并发能力如何?
- 工具故障时能否恢复?
- 是否存在越权调用?
这三个层次相互补充,不能用单一指标代替完整评估。
三、Agent 的核心评估指标
Agent 的评估指标需要根据任务类型设计,但通常可以从任务成功率、执行质量、工具使用、效率、鲁棒性和安全性六个方面展开。
1. 任务成功率(Task Success Rate)
任务成功率是最重要的基础指标之一。
它表示 Agent 成功完成任务的比例。
其中:
- N_{\text{success}}:成功完成的任务数量。
- N_{\text{total}}:总测试任务数量。
例如,测试 100 个任务,Agent 成功完成 82 个:
但需要注意,任务成功率必须有明确的成功判定标准。
对于数据查询任务,可以检查查询结果是否正确;对于文件操作任务,可以检查文件内容和文件系统状态;对于复杂研究任务,则可能需要结合事实核验和人工评分。
不能仅根据 Agent 自己声称任务完成,就判断任务成功。
2. 任务完成度(Task Completion)
有些任务无法简单划分为成功或失败。
例如,用户要求:
- 查询三个数据库。
- 汇总数据。
- 生成分析报告。
- 导出 CSV 文件。
如果 Agent 完成了前三项,但没有成功导出文件,那么任务并非完全失败,但也没有完全完成。
可以采用加权完成度:
其中:
- w_i:子任务的重要性权重。
- s_i:子任务完成情况,可以取 0 或 1,也可以使用连续评分。
例如:
| 子任务 | 权重 | 完成情况 |
|---|---|---|
| 查询数据 | 20% | 1 |
| 数据汇总 | 30% | 1 |
| 生成报告 | 30% | 1 |
| 导出文件 | 20% | 0 |
最终完成度为:
这种方法更适合复杂、多步骤 Agent。
3. 工具调用准确率(Tool Accuracy)
工具调用准确率用于评估 Agent 是否正确选择工具、填写参数并遵循调用约束。
可以拆分为三个指标:
工具选择准确率:
参数准确率:
工具执行成功率:
需要区分:
- 工具选择正确,不代表参数正确。
- 参数正确,不代表工具执行成功。
- 工具执行成功,也不代表任务目标已经完成。
例如,Agent 正确选择了数据库查询工具,但 SQL 条件错误,最终结果仍然不正确。
4. 计划质量(Planning Quality)
计划质量用于评估 Agent 是否制定了合理的执行步骤。
主要关注:
- 任务是否被正确拆解?
- 是否遗漏必要步骤?
- 是否存在不必要步骤?
- 步骤之间的依赖关系是否正确?
- 是否考虑了失败恢复和结果验证?
可以采用人工评分,也可以采用结构化评分。
例如,使用 1~5 分:
| 分数 | 评价标准 |
|---|---|
| 1 | 计划严重错误,无法完成任务 |
| 2 | 存在多个关键步骤遗漏 |
| 3 | 基本合理,但存在明显冗余 |
| 4 | 计划完整,步骤合理 |
| 5 | 计划完整、简洁,且考虑异常处理 |
计划质量不能只评价文本表达是否清晰,更重要的是计划是否能够在真实环境中执行。
5. 执行效率(Execution Efficiency)
Agent 通常需要多次调用模型和工具,因此执行效率非常重要。
常见指标包括:
| 指标 | 含义 |
|---|---|
| Average Latency | 平均任务耗时 |
| P50 Latency | 中位数耗时 |
| P95 Latency | 95 分位耗时 |
| Token Consumption | 平均 Token 消耗 |
| Tool Calls | 平均工具调用次数 |
| Cost per Task | 单任务平均成本 |
| Steps per Task | 单任务执行步骤数 |
例如:
在生产环境中,P95 和 P99 往往比平均延迟更有价值,因为它们能够反映长尾任务的执行情况。
但不能简单认为工具调用次数越少越好。
对于高风险任务,多一次验证可能显著提高可靠性。因此,效率指标必须与任务成功率、安全性一起分析。
6. 鲁棒性(Robustness)
鲁棒性用于衡量 Agent 面对异常和环境变化时的稳定程度。
需要测试:
- 模型超时。
- 工具调用失败。
- 工具返回异常数据。
- 网络中断。
- 上下文信息不完整。
- 外部数据发生变化。
- 多步骤执行中途崩溃。
- 用户修改任务目标。
可以定义异常恢复成功率:
这里的分母只统计理论上可恢复的故障,不能把永久性业务错误也算进去。
还可以使用扰动前后的成功率变化衡量鲁棒性:
这个比值越接近 1,说明 Agent 在指定扰动条件下的性能下降越小。
7. 安全性(Safety)
安全性是 Agent 评估中不能忽略的部分。
尤其是能够执行文件操作、数据库修改、代码执行、支付和外部 API 调用的 Agent。
常见指标包括:
- 越权工具调用率。
- 未授权操作成功次数。
- 敏感信息泄露率。
- Prompt Injection 攻击成功率。
- 高风险操作审批绕过率。
- 不可信数据被当作指令执行的比例。
对于高风险行为,不能只计算平均安全得分。
例如,一次未授权转账就可能构成严重事故,因此关键安全约束应该采用硬性通过条件。
四、Agent 评估的主要方法
Agent 评估不能只依赖一种方法。不同方法适用于不同测试目标。
1. 规则评估(Rule-based Evaluation)
规则评估通过预先定义的条件判断任务结果。
例如:
- JSON 是否符合 Schema?
- 是否调用了指定工具?
- 是否生成了目标文件?
- 数据库记录是否发生预期变化?
- 最终金额是否正确?
- 是否遵守最大调用次数?
示例:
def evaluate_result(result):
checks = {
"has_answer": bool(result.get("answer")),
"has_status": result.get("status") == "success",
"has_reference": bool(result.get("references")),
}
score = sum(checks.values()) / len(checks)
return {
"score": score,
"checks": checks,
"passed": all(checks.values()),
}
优点:
- 结果稳定。
- 容易自动化。
- 评分成本低。
- 适合结构化任务。
缺点:
- 难以评价开放式任务。
- 规则覆盖范围有限。
- 容易出现只满足表面条件、实际质量不高的情况。
适合用于格式检查、数据校验、工具参数检查和明确的业务规则。
2. 参考答案评估(Reference-based Evaluation)
这种方法将 Agent 输出与标准答案进行比较。
例如:
问题:法国的首都是哪里?
标准答案:巴黎
Agent 输出:巴黎
评估结果:正确
适用于:
- 知识问答。
- 信息抽取。
- 分类任务。
- 结构化输出。
- 固定计算任务。
常见指标包括:
Exact Match(精确匹配)
Precision(精确率)
Recall(召回率)
F1 Score
需要注意,Agent 的答案可能有多种正确表达,因此不能对所有任务都使用精确字符串匹配。
3. LLM-as-a-Judge(使用大模型进行评估)
对于开放式任务,很难事先准备唯一标准答案。
例如:
- 研究报告是否完整?
- 分析结论是否有依据?
- 任务规划是否合理?
- 回复是否符合用户要求?
- 工具使用策略是否恰当?
这时可以让另一个大模型作为评估器。
基本过程:
flowchart TD
A["Agent 执行任务"] --> B["收集最终结果与执行轨迹"]
B --> C["构建评估 Prompt"]
C --> D["Judge 模型评分"]
D --> E["输出评分与理由"]
E --> F["汇总评估报告"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
Judge 可以根据多个维度进行评分:
| 维度 | 评分标准 |
|---|---|
| Correctness | 事实和结论是否正确 |
| Completeness | 是否覆盖全部要求 |
| Relevance | 是否围绕任务目标 |
| Reasoning | 推理过程是否合理 |
| Tool Usage | 工具使用是否正确 |
| Instruction Following | 是否遵守用户指令 |
例如,评估 Prompt 可以设计为:
你是一个严格的 Agent 评估器。
请根据以下标准评价 Agent 的执行结果:
1. 任务目标是否完成。
2. 事实是否准确。
3. 是否遗漏关键要求。
4. 工具调用是否合理。
5. 是否存在没有依据的结论。
请输出 JSON:
{
"correctness": 1-5,
"completeness": 1-5,
"tool_usage": 1-5,
"instruction_following": 1-5,
"overall_score": 1-5,
"reason": "评分依据",
"critical_errors": []
}
LLM-as-a-Judge 的优势是能够评价复杂的语义质量,但也存在明显局限:
- 评估模型本身可能产生幻觉。
- 对表达风格存在偏好。
- 容易偏向更长、更详细的答案。
- 可能受到被评估模型输出的影响。
- 不同 Judge 模型的评分可能存在差异。
因此,应该使用固定评分标准、结构化输出和人工抽样复核。
对于关键业务事实,应尽量结合程序化验证,而不是完全相信 Judge。
4. 人工评估(Human Evaluation)
人工评估由专业人员或领域专家判断 Agent 的表现。
适用于:
- 医疗、法律等专业领域的任务质量评价。
- 复杂研究报告。
- 高风险决策。
- 用户体验评价。
- Judge 模型无法可靠判断的开放式任务。
人工评估可以采用:
单样本评分: 对一个 Agent 的执行结果独立打分。
双样本比较: 比较两个 Agent 的输出,选择更好的结果。
盲测评估: 隐藏模型身份和版本,减少主观偏见。
双样本比较常用于模型迭代:
任务:分析某公司的经营情况
Agent A:输出结果 A
Agent B:输出结果 B
评估人员根据事实准确性、完整性和可读性进行比较。
人工评估质量较高,但成本较大、速度较慢,而且不同评估者之间可能存在标准差异。
工程上通常采用自动评估为主、人工抽样复核为辅的方式。
5. 执行轨迹评估(Trajectory Evaluation)
这是 Agent 评估中非常重要的一种方法。
它不仅检查最终结果,还检查 Agent 在执行过程中采取的每一步行动。
一条典型执行轨迹可能包含:
Step 1:理解用户目标
Step 2:制定任务计划
Step 3:调用搜索工具
Step 4:读取搜索结果
Step 5:调用数据库工具
Step 6:分析数据
Step 7:验证结果
Step 8:输出最终答案
轨迹评估关注:
- 是否选择正确的行动?
- 是否遗漏关键步骤?
- 是否重复调用工具?
- 是否在错误结果后继续使用错误信息?
- 是否正确处理工具异常?
- 是否在任务完成后及时停止?
需要注意,正确的 Agent 不一定只有一条固定执行轨迹。
不同工具、不同计划可能都能完成同一个任务。因此,不能要求 Agent 必须严格复现某一条参考轨迹。
更合理的做法是评估关键动作、必要约束和最终状态。
6. 反事实评估(Counterfactual Evaluation)
反事实评估通过改变任务条件或环境,检查 Agent 是否仍然能够正确执行。
例如:
- 搜索工具突然不可用。
- 数据库返回部分数据。
- 用户中途修改任务要求。
- 工具返回过期信息。
- 关键步骤执行失败。
- 任务执行到一半发生进程重启。
通过比较正常环境和扰动环境下的表现,可以了解 Agent 的鲁棒性和恢复能力。
五、Agent Benchmark:基准测试是什么?
Benchmark 是一套标准化的测试任务、环境、评估规则和指标体系。
它的作用是让不同 Agent、模型和架构在相对统一的条件下进行比较。
一个完整的 Agent Benchmark 通常包含:
- 测试任务集。
- 测试环境。
- 工具和资源。
- 任务初始状态。
- 成功判定标准。
- 执行限制和预算。
- 评分规则。
- 测试结果和报告。
1. Benchmark 的基本结构
flowchart TD
A["Benchmark 数据集"] --> B["任务定义"]
B --> C["环境初始化"]
C --> D["Agent 执行"]
D --> E["记录执行轨迹"]
E --> F["自动评估"]
F --> G["人工抽样复核"]
G --> H["计算综合指标"]
H --> I["生成 Benchmark 报告"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
2. Benchmark 的分类
按照评估对象,可以分为以下几类:
| 类型 | 评估内容 | 典型任务 |
|---|---|---|
| 通用 Agent Benchmark | 通用任务执行能力 | 搜索、规划、工具调用 |
| Web Agent Benchmark | 浏览器交互能力 | 网页操作、表单填写 |
| Coding Agent Benchmark | 编程和软件工程能力 | 修复 Bug、实现功能 |
| Research Agent Benchmark | 信息研究与综合能力 | 多来源搜索、报告生成 |
| Tool-use Benchmark | 工具调用能力 | API 选择、参数生成 |
| Multi-Agent Benchmark | 多 Agent 协作 | 角色分工、通信和协调 |
| Long-horizon Benchmark | 长周期任务能力 | 多阶段任务、持续执行 |
| Safety Benchmark | 安全和权限边界 | 越权操作、Prompt Injection |
不同 Benchmark 关注的能力不同,不能将某一个测试集的高分直接等同于 Agent 的综合能力。
六、主流 Agent Benchmark 介绍
以下是 Agent 研究和工程实践中具有代表性的 Benchmark。它们的任务设计和评估重点并不相同。
1. GAIA
主要特点:
- 涉及多步骤推理。
- 需要搜索和信息整合。
- 可能涉及文件、图像等多模态输入。
- 强调工具使用和外部信息获取。
- 需要完成具有现实意义的任务。
GAIA 的价值在于检验 Agent 能否将多种能力组合起来,解决真实、复杂的问题。
适合评估通用助手、研究 Agent 和具备工具调用能力的系统。
2. AgentBench
它涵盖多个交互环境,例如:
- 操作系统。
- 数据库。
- 知识图谱。
- 网页购物。
- 网页浏览。
- 家庭环境。
- 游戏环境。
它强调 Agent 与环境交互的能力,而不只是静态问答能力。
适合用于比较不同模型和 Agent 架构在多种任务环境中的表现。
3. WebArena
它构建了多个可交互的网站环境,测试 Agent 是否能够完成实际网页任务。
典型任务包括:
- 搜索商品。
- 修改用户资料。
- 创建内容。
- 管理订单。
- 操作论坛。
- 查询网站信息。
它的核心价值是使用任务完成情况作为重要评价依据,而不是只检查 Agent 是否生成了正确的操作描述。
4. BrowserGym
它提供浏览器交互任务和评估基础设施,可以支持多种 Web Agent Benchmark。
主要价值:
- 统一浏览器交互接口。
- 支持不同任务环境。
- 便于比较不同 Agent。
- 支持执行轨迹和任务结果分析。
BrowserGym 更偏向评估基础设施,而不是单一的任务数据集。
5. OSWorld
任务可能包括:
- 操作桌面应用。
- 编辑文档。
- 管理文件。
- 配置系统。
- 使用办公软件。
- 完成跨应用工作流。
它要求 Agent 不仅理解任务,还要通过真实界面操作完成目标。
这类测试能够揭示 Agent 在视觉理解、GUI 定位、操作规划和状态验证方面的问题。
6. SWE-bench
测试任务通常来自真实 GitHub 项目中的 Issue,要求 Agent 理解代码库、分析问题并提交代码修改。
主要考察:
- 代码库理解。
- 问题定位。
- Bug 修复。
- 代码修改。
- 测试运行。
- 修改结果验证。
它不仅检查代码是否能够生成,还会通过测试判断问题是否真正解决。
对于 Coding Agent,SWE-bench 是非常重要的评估方向。
7. SWE-bench Verified
其目的在于提高测试任务质量,减少原始任务中可能存在的歧义和测试问题。
在比较 Coding Agent 时,需要明确使用的是 SWE-bench、SWE-bench Verified,还是其他变体,不能将不同版本的成绩直接混为一谈。
8. Terminal-Bench
主要考察:
- 命令行操作。
- 环境配置。
- 软件安装。
- 文件处理。
- 代码执行。
- 系统调试。
- 多步骤终端任务。
它能够评估 Agent 是否真正具备通过终端完成工程任务的能力。
9. τ-bench(Tau-bench)
它强调:
- Agent 与用户的多轮交互。
- 工具调用。
- 业务规则遵循。
- 数据状态变化。
- 任务执行正确性。
例如,在零售和航空等业务环境中,Agent 需要根据业务规则完成订单、查询或修改操作。
这类测试比单纯的问答更接近实际企业 Agent 的应用场景。
10. Benchmark 对比
| Benchmark | 核心方向 | 主要评估能力 |
|---|---|---|
| GAIA | 通用助手 | 复杂问题解决 |
| AgentBench | 通用 Agent | 多环境交互 |
| WebArena | Web Agent | 网页任务执行 |
| BrowserGym | 浏览器环境 | 浏览器 Agent 评估基础设施 |
| OSWorld | 桌面 Agent | 操作系统和 GUI 操作 |
| SWE-bench | Coding Agent | 真实软件工程任务 |
| SWE-bench Verified | Coding Agent | 人工验证后的代码修复任务 |
| Terminal-Bench | 终端 Agent | 命令行任务执行 |
| τ-bench | 业务 Agent | 工具调用和业务规则遵循 |
Benchmark 的选择应由目标任务决定。例如,开发浏览器自动化 Agent,优先关注 WebArena;开发软件工程 Agent,则应关注 SWE-bench 及相关测试集。
七、如何设计自己的 Agent Benchmark?
公开 Benchmark 只能反映部分能力,无法完全覆盖企业内部业务。
例如,一个企业知识库 Agent 可能需要:
- 检索内部文档。
- 读取权限受限的数据。
- 调用企业 API。
- 生成报告。
- 写入业务系统。
- 等待人工审批。
公开测试集不一定包含这些场景,因此需要建立自己的业务 Benchmark。
1. 明确测试目标
首先明确要验证的能力。
例如:
目标:评估企业知识库 Agent
核心能力:
1. 正确理解用户问题
2. 检索相关文档
3. 正确引用信息来源
4. 处理权限受限的文档
5. 调用业务工具
6. 生成准确答案
7. 在信息不足时主动说明
测试目标必须明确,否则容易出现评估指标与真实业务目标脱节的问题。
2. 构建任务数据集
每个测试任务应包含完整的任务定义。
建议的数据结构:
{
"task_id": "agent_001",
"category": "knowledge_retrieval",
"difficulty": "medium",
"input": {
"query": "查询本季度销售额及同比变化"
},
"environment": {
"database": "sales_db",
"tools": ["query_sales", "calculate_growth"]
},
"constraints": [
"只能读取授权数据",
"必须使用当前季度数据"
],
"expected_result": {
"required_fields": [
"sales_amount",
"growth_rate"
]
},
"evaluation": {
"type": "rule_based",
"success_condition": "result_matches_database"
}
}
任务数据集应覆盖不同难度:
| 难度 | 特征 | 示例 |
|---|---|---|
| 简单 | 单步骤、明确目标 | 查询一条数据 |
| 中等 | 多步骤、少量依赖 | 查询并计算增长率 |
| 困难 | 多工具、复杂依赖 | 查询、分析并生成报告 |
| 极难 | 长周期、异常和不确定性 | 多系统协作并处理审批 |
3. 设计测试场景
测试场景不能全部是正常任务,还应该覆盖边界条件和异常情况。
建议至少覆盖以下类型:
| 测试类别 | 测试内容 |
|---|---|
| 正常任务 | 标准任务能否完成 |
| 复杂任务 | 多步骤任务能否正确规划 |
| 边界任务 | 空数据、超大数据、特殊字符 |
| 异常任务 | 工具超时、API 失败 |
| 模糊任务 | 用户意图不明确 |
| 对抗任务 | Prompt Injection、恶意输入 |
| 权限任务 | 越权访问和操作 |
| 长周期任务 | 中断、恢复、持续执行 |
| 并发任务 | 多任务同时运行 |
| 变化任务 | 用户中途修改目标 |
测试集要尽量覆盖真实业务中的任务分布,而不是只挑选 Agent 容易完成的任务。
4. 定义可验证的成功标准
这是设计 Benchmark 最关键的环节之一。
不要只使用以下标准:
Agent 输出了一段合理的解释。
应该尽可能使用客观、可验证的结果:
1. 数据库查询结果与标准数据一致。
2. 必需字段全部存在。
3. 计算结果误差在允许范围内。
4. 文件成功写入指定目录。
5. 不存在未授权的操作记录。
6. 任务状态正确进入 SUCCEEDED。
对于无法完全自动化的开放式任务,可以使用 Judge 评分,并通过人工抽样校验。
5. 设置测试环境
Agent Benchmark 必须尽可能控制环境变量。
需要固定或记录:
- 模型版本。
- System Prompt 版本。
- Agent 框架版本。
- 工具定义和版本。
- 测试数据版本。
- 环境初始状态。
- 模型采样参数。
- 最大执行时间。
- Token 预算。
- 工具调用预算。
对于会修改数据的任务,最好使用独立沙箱或可重置环境。
否则,前一个任务修改的状态可能影响后一个任务,导致测试结果不公平。