AI 知识库首页

Agent 评测:结果、轨迹、工具与工程指标

建立分层指标,避免只用主观评分。

四层评测

  1. 结果层:任务是否真的完成,业务结果是否正确;
  2. 轨迹层:关键步骤是否发生,是否重复、越权或绕路;
  3. 组件层:路由、检索、工具选择、参数和 Guardrail;
  4. 工程层:延迟、Token、费用、重试、稳定性和安全事件。

评分优先级:环境执行验证 > 确定性规则 > 人工评分 > LLM-as-a-Judge。能用测试、数据库状态或 API 回执判断,就不要只让模型打分。

非确定系统应多次运行,报告均值、分位数和失败分布。结果正确时,不因轨迹与参考不同就简单判错;但越权和危险捷径必须单独扣分。

关联面试题: E08 检索评测 · E09 工具评测 · T19 假完成

基准参考: GAIA · AgentBench · SWE-bench