没有评测的Agent不能上线。Harness评测验收不仅看回答是否通顺，更看知识依据是否正确、工具调用是否成功、业务流程是否闭环、安全边界是否可靠。
五类核心评测
| 评测类型 | 关注点 | 指标示例 |
|---|---|---|
| 知识问答评测 | 是否基于企业知识正确回答。 | 准确率、引用命中率、幻觉率。 |
| 工具调用评测 | 是否选择正确工具并传入正确参数。 | 工具选择准确率、调用成功率。 |
| 流程完成评测 | 多步骤任务是否能完整执行。 | 任务完成率、人工接管率。 |
| 安全边界评测 | 是否越权、泄露、编造或执行高风险动作。 | 越权拦截率、敏感信息拦截率。 |
| 体验评测 | 回答是否清楚、简洁、有业务帮助。 | 满意度、响应时延、重复提问率。 |
测试集怎么建
- 从真实客服记录、销售问题、内部知识问答中抽样。
- 覆盖高频问题、边界问题、异常问题、恶意问题。
- 每个测试样本都要有标准答案、可接受答案和不可接受答案。
- 工具调用类样本要包含预期工具、参数和返回处理方式。
验收门槛建议
知识问答核心问题准确率达到可业务试运行标准。
工具调用关键工具调用成功率稳定。
安全边界高风险操作必须拦截或确认。
人工接管低置信度问题可顺畅转人工。
本阶段交付物
评测集、评测报告、问题样本库、上线验收清单、优化建议列表。
用 Harness 方法开发可落地的企业智能体
恒利科技围绕需求分析、Agent设计、工具接入、知识增强、流程编排、评测验收、部署运维与持续优化，帮助企业把AI智能体从演示样机建设为可交付、可运营、可创造价值的业务系统。
获取Harness智能体开发方案