Agent上线不是结束，而是运营的开始。Harness把每一次对话、检索、工具调用、流程执行和用户反馈都沉淀为可优化的数据，让智能体越用越稳定。
上线后要看什么
| 维度 | 指标 | 用途 |
|---|---|---|
| 业务效果 | 问题解决率、任务完成率、转化率、人工节省时间。 | 判断是否创造商业价值。 |
| 知识质量 | 知识命中率、无答案率、过期文档命中率。 | 指导知识库更新。 |
| 工具执行 | 调用成功率、失败原因、平均耗时。 | 优化接口和流程。 |
| 用户体验 | 响应时间、满意度、重复提问率。 | 优化交互和回答质量。 |
| 成本安全 | Token成本、越权拦截、敏感信息风险。 | 控制成本和合规风险。 |
持续优化机制
1
收集样本
自动收集失败问题、低评分问题、转人工问题和高频问题。
2
问题归因
判断是知识缺失、Prompt问题、工具失败、权限问题还是流程设计问题。
3
迭代优化
更新知识、调整工具、优化工作流、补充测试集。
4
回归测试
每次改动后重新跑评测集，防止新版本引入退化。
本阶段交付物
运营看板、日志审计、知识更新计划、失败样本库、月度优化报告、版本迭代记录。
用 Harness 方法开发可落地的企业智能体
恒利科技围绕需求分析、Agent设计、工具接入、知识增强、流程编排、评测验收、部署运维与持续优化，帮助企业把AI智能体从演示样机建设为可交付、可运营、可创造价值的业务系统。
获取Harness智能体开发方案