如何评估 AI 智能体：测试集、指标与回归验收方法

智能体的输出具有内在的不确定性，单次成功演示并不能证明其已具备生产环境部署条件。有效的评估应将“任务是否真正完成”转化为可重复的评估标准，并在每次配置、模型或知识库变更后重新运行验证。

选择指标前先明确“任务成功”的定义

同一智能体在不同业务场景下的成功标准各不相同。客服任务可能需要准确引用政策并正确路由请求；数据处理任务可能要求只读查询和字段准确无误；自动化任务则必须验证最终状态，而不能仅仅依赖模型声称任务“已完成”。

测试集应覆盖正常、边界及对抗性输入

基准测试集应进行版本管理，并包含预期结果或确定性评估规则。黄金测试用例应覆盖高频标准任务；边界用例应包含缺失字段、空结果和 API 超时等情况；对抗性用例应验证系统如何处理模糊指令、未授权请求和恶意输入。所有测试数据必须进行脱敏处理。

切勿将质量评估完全交由另一个模型

确定性需求应尽可能通过程序化规则进行检查，例如 JSON Schema、金额计算、数据库行数统计和权限状态等。基于模型的评分可用于开放式文本，但评分标准应保留并通过人工抽检进行校准。高风险结果绝不能仅凭模型对模型的评估就予以批准。

将评估集成到每一次变更中

1. 记录智能体、提示词、模型、知识库和技能版本的变更。
2. 将候选版本与基线版本在同一测试集上进行对比运行。
3. 对比失败案例、质量、延迟和资源消耗情况，而非仅关注整体得分。
4. 为关键指标设定业务可接受的阈值。
5. 保留报告与失败样本，修复后重新运行测试。

真实生产任务也应持续抽样，以识别离线测试未覆盖的新输入。SmaugBrain 可作为运行和记录任务的平台，但评估标准仍需由业务负责人确认。

一页纸验收记录应包含的内容

• 变更的版本及原因。
• 测试集版本与抽样范围。
• 各类失败的数量及原因。
• 与当前生产基线的差异。
• 人工抽检结论及审批人。
• 明确的决策：是否部署、逐步上线或回滚。

常见问题

评估需要多少样本量？

没有适用于所有场景的固定数量。建议先从覆盖关键路径和高风险边界用例开始，随后根据失败率、业务量和所需的置信水平扩大样本规模。

每次更新都需要全量测试吗？

高风险变更应进行完整的回归测试。对于低风险变更，可先运行关键子集，但在部署前仍须覆盖所有受影响的路径。

基于模型的评分能替代人工评估吗？

不能完全替代。它适合用于扩大评估覆盖面，而人工负责校准标准以及审查边界用例和高风险结果。

下一步该怎么做

首先为您的核心业务流程构建一个小型基准测试集，并在 SmaugBrain 中保留完整的版本与执行记录。待标准稳定后，再扩展至生产环境抽样与持续的回归测试。