🛡️ 评测、安全与治理
可靠性与统计评测
评测、安全与治理专题：用 2 个核心问题讲清原理、取舍与落地。
一句话定位
结果与轨迹评测、统计可靠性、Judge 校准、注入和红队。 质量看可验证结果，安全看最坏影响；两者都要覆盖正常、边界、失败和对抗分布。
核心原理与问题解析
pass@k 与 pass^k 有何区别？
pass@k 表示多次尝试中至少一次成功，衡量可通过重试找到答案；pass^k 表示连续 k 次都成功，衡量可靠性。生产自动化更关心后者和单次成功率。
继续想： 为什么高 pass@5 可能不可用？；如何估计置信区间？
非确定系统如何判断回归？
固定版本后多次运行，比较成功率、分位数、失败类型和置信区间，不以单个案例或完整字符串判断。高风险指标设零容忍门槛。
继续想： 每题跑几次？；成本太高怎么办？
工程落地检查
- 先定义任务级成功和失败分类
- 规则、环境、人工与 Judge 组合评分
- 报告样本量、方差和置信区间
- 权限控制独立于模型判断
- 线上失败和攻击链持续回流回归集
常见误区
- 只用平均分掩盖高风险长尾
- 把 LLM Judge 当绝对真值
- 只在最终输入输出放 Guardrail
对应面试题
V02 pass@k 与 pass^k 有何区别？ · V05 非确定系统如何判断回归？
延伸资料
OpenAI Evaluation Best Practices · OWASP Agentic Security Initiative