Agent 红队与威胁建模

一句话定位

结果与轨迹评测、统计可靠性、Judge 校准、注入和红队。 质量看可验证结果，安全看最坏影响；两者都要覆盖正常、边界、失败和对抗分布。

核心原理与问题解析

如何做 Agent 红队测试？

覆盖直接/间接注入、越权、工具链组合、恶意文件、记忆投毒、跨租户、结果伪造和资源耗尽；在沙箱中自动运行并保存 Trace。

继续想： 成功判定是什么？；如何把攻击样本变成回归集？

如何做威胁建模？

列出资产、身份、信任边界、输入来源、工具副作用和数据出口，再分析攻击路径与控制。重点不是模型是否聪明，而是失败后的最大影响。

继续想： STRIDE 能直接用吗？；MCP Server 放在哪个边界？

工程落地检查

• 先定义任务级成功和失败分类
• 规则、环境、人工与 Judge 组合评分
• 报告样本量、方差和置信区间
• 权限控制独立于模型判断
• 线上失败和攻击链持续回流回归集

常见误区

• 只用平均分掩盖高风险长尾
• 把 LLM Judge 当绝对真值
• 只在最终输入输出放 Guardrail

对应面试题

V13 如何做 Agent 红队测试？ · V14 如何做威胁建模？

延伸资料

OpenAI Evaluation Best Practices · OWASP Agentic Security Initiative