核心用法
该技能提供系统化的LLM Agent评估方法论，核心包括三类测试模式：
1. 统计测试评估（Statistical Test Evaluation）
由于LLM输出的非确定性，单次测试毫无意义。必须多次运行测试并分析结果分布，计算通过率置信区间，识别 flaky 行为模式。
2. 行为契约测试（Behavioral Contract Testing）
定义Agent的行为不变量（如"必须拒绝有害请求""必须调用工具X后再返回结果"），而非精确输出匹配。这更接近传统软件的集成测试思维。
3. 对抗测试（Adversarial Testing）
主动设计输入以触发边界情况和失败模式，包括越狱尝试、模糊测试、状态空间探索等。
显著优点
- 直击行业痛点：明确指出"顶级Agent在真实基准上得分不足50%"，打破 benchmark 迷信
- 方法论完整：覆盖从开发到生产的全周期——回归测试、能力评估、可靠性监控
- 防 gaming 设计：强调多维度评估防止"指标优化而非任务优化"
- 风险前置：提供数据泄露防护（避免测试数据污染训练/提示）的关键检查点
潜在局限
- 实施成本高：统计测试需要大量API调用，成本和时间开销显著
- 主观性残留："正确"无标准答案时，评估标准本身需人工定义
- 工具链依赖：文中未提供具体实现框架，需结合外部工具（如LangSmith、Weights & Biases）
- 延迟问题：生产监控中的实时评估可能受限于推理延迟
适合人群
- AI产品质量工程师、MLEngineer、Agent框架开发者
- 正在从传统软件测试转向LLM系统的QA团队
- 需要建立Agent上线前评审流程的企业技术负责人
常规风险
| 风险场景 | 说明 |
|---------|------|
| 基准-生产鸿沟 | 过度优化公开benchmark导致真实任务失败 |
| 测试不稳定性 | 非确定性输出造成CI/CD pipeline频繁失败 |
| 评估指标腐化 | 单一指标驱动导致Agent学习"考试技巧" |
| 数据污染 | 测试集泄露至训练数据或few-shot提示中 |
该技能的价值在于建立"评估即工程"的认知——在LLM Agent领域，可靠的评估体系本身就是核心基础设施。