agent-evaluation

核心用法

agent-evaluation 是一套面向 LLM 代理的质量工程方法论，而非可执行工具。它指导用户构建三类核心评估体系：统计测试评估（多轮运行分析结果分布）、行为契约测试（定义代理行为不变量）、对抗性测试（主动破坏代理行为）。技能强调将基准测试与生产环境评估桥接，解决"高分低能"的行业痛点。

显著优点

1. 实战导向：作者明确指出现实中顶级代理在真实基准上得分不足50%，避免用户陷入"完美基准"幻觉
2. 方法论完整：覆盖从测试设计、能力评估到生产监控的全链路，包含具体的反模式警示（单轮测试、仅测试 happy path、字符串匹配断言）
3. 风险预判：Sharp Edges 表格直接列出4类高频问题及解决方案，如数据泄露预防、指标优化陷阱等
4. 生态协同：明确标注与 multi-agent-orchestration、agent-communication 等技能的协作关系

潜在缺点与局限性

• 纯文档型：无自动化工具或代码实现，需要用户自行落地
• 学习曲线：要求使用者具备 testing-fundamentals 和 llm-fundamentals 前置知识
• 模糊性处理：LLM 输出的非确定性本质导致"正确"标准难以量化，文档未提供具体阈值建议
• 行业适配：部分方法论可能需根据金融、医疗等强监管领域调整

适合的目标群体

• AI 质量工程师：负责代理系统测试策略设计的专业人员
• MLOps 团队：需要将代理评估纳入 CI/CD 流程的工程团队
• 产品经理：评估代理能力边界、设定合理预期的决策者
• 研究人员：从事 agent benchmark 设计的学术工作者

使用风险

1. 实施成本：方法论落地需要大量标注数据和工程投入
2. 指标博弈风险：团队可能过度优化评估指标而非实际任务表现
3. 测试不稳定性：LLM 的随机性导致 flaky tests，需额外设计重试和置信区间机制
4. 数据隔离挑战：需严格防止测试数据泄露到训练或提示词中

核心功能与定位

Agent Evaluation 是一个面向LLM智能体质量工程的知识型Skill，聚焦解决业界普遍痛点——即使顶尖Agent在真实场景基准测试中成功率也不足50%。该Skill不提供可执行代码，而是以方法论文档形式，系统性地指导团队建立从开发到生产的全链路评估体系。

核心用法

Skill围绕五大能力维度展开：

1. Agent Testing（智能体测试）：超越传统软件测试范式，处理非确定性输出与开放式"正确性"定义
2. Benchmark Design（基准设计）：构建能真实反映生产环境的评估体系，避免"高分低能"
3. Capability Assessment（能力评估）：多维度度量Agent的核心能力边界，而非单一指标
4. Reliability Metrics（可靠性指标）：建立统计置信度，应对LLM输出的固有变异性
5. Regression Testing（回归测试）：追踪Agent行为随迭代的稳定性变化

显著优点

• 实战导向：直面"benchmark高分≠生产可用"的行业困境，提供 bridging 策略
• 方法论体系完整：覆盖测试设计、执行、度量的全生命周期，包含统计测试、对抗测试、行为契约等高级模式
• 风险意识突出：明确标注sharp edges（尖锐风险点），如数据泄露、指标优化偏移等，并给出针对性解决方案
• 来源可信：由vibeship-spawner-skills维护，Apache 2.0许可，代码提交历史可追溯

局限性与适用边界

• 非工具型Skill：纯文档知识库，需团队自主实现评估框架，不提供现成代码或自动化工具
• 前置知识要求：依赖"testing-fundamentals"和"llm-fundamentals"，对无质量工程背景的用户有一定门槛
• 领域聚焦：专精于LLM Agent评估，不覆盖传统ML模型评估或其他AI系统类型

适合人群

• MLOps/LLMOps工程师：构建生产级Agent监控体系
• AI产品经理：定义合理的Agent success criteria
• 质量工程师：从传统软件测试转型Agent测试
• 研究团队：设计学术级Agent基准测试

常规风险提示

| 风险场景 | 应对策略 |

|---------|---------|

| 测试结果抖动（同一测试时过时不候） | 采用统计测试评估模式，分析结果分布而非单点结果 |

| 指标过拟合（Agent优化指标而非任务） | 实施多维度评估，防止gaming行为 |

| 数据泄露（测试数据意外进入训练/提示） | 建立严格的数据隔离与审计机制，标记为critical级别 |

该Skill的安全评级为S级（优秀），纯Markdown文档无执行代码，完全符合GDPR/CCPA隐私合规，可在标准安全策略下放心使用。