核心用法
eval-skills 是一个框架无关的 AI Agent 技能单元测试工具包，专注于 L1 级别（单个技能） 的质量保障。与 LangSmith、DeepEval 等侧重代理级/轨迹级评估（L2-L3）的平台不同，本工具针对单个技能进行基准测试，确保每个构建块在进入代理流水线前即达标。
主要能力模块
1. Find - 按关键词、标签、适配器类型搜索技能
2. Create - 从模板生成技能脚手架（HTTP请求/Python脚本/MCP工具）
3. Eval - 核心命令，支持并行执行、多轮运行、多格式报告
4. Select - 基于多维度策略（完成率、错误率、延迟、成本）筛选排序技能
5. Run - 一键化执行「发现→评估→选择→报告」完整流水线
6. Report - 格式转换与回归对比（report diff 检测版本退化）
7. Init/Config - 项目初始化与配置管理
显著优点
- 填补市场空白：唯一专注 L1 技能级评测的开源框架
- 工程化完备：内置 CI/CD 质量门禁（
--exit-on-fail）、SQLite 持久化存储、多格式报告（JSON/Markdown/HTML） - 灵活的评估机制：支持 5 种评分器（精确匹配/包含/JSON Schema/LLM裁判/自定义），可配置并发、超时、重试策略
- 多维技能选型：通过策略 YAML 实现业务导向的技能筛选，非单纯技术指标排序
- 框架无关：通过 Adapter 层支持 HTTP、子进程、MCP 等多种协议
潜在局限
- 生态成熟度：内置基准集有限（仅 4 个），重度依赖用户自定义 benchmark
- MCP 支持滞后：标注为 Phase 2 功能，当前版本可能未完全实现
- 学习曲线：策略配置、自定义评分器等高级功能需深入文档
- LLM 裁判成本：依赖外部 LLM 的评估方式可能带来不可忽略的 token 消耗
适合人群
- AI Agent 平台团队：需标准化技能准入流程
- MLOps/LLMOps 工程师：构建 CI/CD 中的技能质量门禁
- 技能开发者：需在发布前自测、对比多版本性能
- 技术选型决策者：需在多个候选技能间做数据驱动的选择
常规风险
- 评估即生产：HTTP 适配器默认调用真实端点，误操作可能导致生产环境负载或费用
- 基准代表性：自定义 benchmark 设计不当会导致评估结果与实际场景脱节
- 数据持久化：SQLite 存储默认本地路径，多机协作场景需额外配置同步机制
- 超时配置：默认 30s 超时对某些复杂 LLM 调用可能不足，需根据实际调整