modelshow

ModelShow：AI 模型双盲对比评测系统

核心用法

ModelShow 是一套完整的模型评测工作流，用户以 mdls 或 modelshow 为触发词发起查询后，系统会并行调用多个 AI 模型生成回答，随后通过完全匿名的双盲机制进行评分，最终自动去匿名化并呈现排名结果。

典型使用场景：

• 同一问题对比不同模型的回答质量
• 评估新模型在特定任务上的表现
• 客观测试提示词工程效果
• 团队选型时的定量参考

完整流程：
1. 接收用户指令并提取问题
2. 读取配置加载待测模型列表
3. 并行生成子代理调用各模型（30-90秒轮询等待）
4. 收集响应后通过 judge_pipeline.py 匿名化处理
5. 启动独立评委子代理进行盲评并执行去匿名化
6. 解析 JSON 结果并构建格式化输出
7. 保存完整报告并呈现带奖牌排名的结果

显著优点

• 消除评测偏见：评委在完全不知模型身份的情况下评分，避免品牌光环效应
• 自动化完整流程：从并行查询、匿名处理到最终排名一键完成
• 可扩展架构：通过 config.json 灵活增减待测模型
• 审计可追溯：保存完整的匿名化映射表，支持结果复核
• 超时容错机制：允许部分模型失败，只要达到最低成功数即可继续评测

潜在局限与风险

• 评委模型依赖：最终评分质量受限于 judgeModel 本身的能力和偏向
• 单点评审风险：仅由一个评委模型裁定，缺乏多评委共识机制
• 流水线复杂性：涉及多次子代理派生、轮询、管道脚本执行，任一步骤失败都需降级处理
• 延迟较高：完整流程需要 30-90 秒，不适合实时场景
• 无人类校验：自动去匿名化可能因解析失败导致结果混乱

适合人群

• AI 产品经理进行模型选型评估
• 提示词工程师测试不同模型的指令遵循能力
• 研究人员需要相对客观的模型能力基准
• 技术团队监控自有模型或第三方 API 的质量波动

常规风险提示

• 配置风险：config.json 中的 minSuccessful 过低可能导致样本不足；timeoutSeconds 过短会频繁触发超时
• 评委偏差：若评委模型本身对某类回答有偏好（如更长的回答），评测结果可能系统性地偏向特定模型
• 隐私泄露：匿名化处理依赖脚本正确执行，若配置错误可能导致模型身份提前暴露
• 存储安全：评测结果以明文 Markdown 保存于 outputDir，敏感查询需注意文件权限管理

核心用法

ModelShow 是一款创新的多模型对比评测工具，采用双盲实验设计确保评估客观性。用户只需以 mdls 或 modelshow 为前缀发送提示词，系统即自动触发完整评测流程：

1. 并行查询：同时向配置的多款AI模型发送相同提示
2. 自动轮询：每30秒检查子Agent完成状态，直至全部响应或超时
3. 匿名化处理：通过 judge_pipeline.py 将模型响应替换为 Response A/B/C 等代号
4. 盲评打分：由独立评委Agent在不知模型身份的情况下评分排名
5. 反匿名化：自动映射代号回真实模型名，生成带奖牌标识的格式化报告

支持通过配置文件自定义模型列表、评委模型、超时时间等参数，结果自动保存为Markdown文件便于存档分享。

显著优点

方法论严谨：双盲设计从根本上消除了评委对特定品牌的主观偏见，评测结果更具公信力。相比公开对比测试，盲评能更真实反映模型能力差异。

自动化程度高：从模型调用、进度监控到报告生成全程自动化，用户零配置即可启动专业级评测。轮询机制确保即使部分模型响应延迟也能获得可用结果。

透明可审计：完整保留匿名化映射密钥、评委原始输出和模型响应原文，支持事后复盘验证，符合科研级可复现标准。

零依赖轻量：核心逻辑仅依赖Python标准库，无第三方包引入供应链风险，部署维护成本低。

潜在局限

来源可信度限制：由个人开发者维护（T3级别），无组织背书，企业场景建议先行代码审查或fork后自主维护。

评委模型依赖性：评测质量高度依赖配置的评委模型能力，若评委本身存在偏好或理解偏差，可能影响排名公正性。建议定期更换评委模型交叉验证。

长文本处理挑战：对于超长提示或响应，匿名化流程可能增加token消耗；复杂多轮对话场景暂未支持。

时效性约束：部分前沿模型API可能存在速率限制，并行查询时可能触发限流，需合理配置超时参数。

适合的目标群体

• AI研究人员：需要客观基准测试验证模型改进效果
• Prompt工程师：对比不同模型对复杂指令的理解与执行差异
• 技术内容创作者：制作 unbiased 的模型能力评测内容
• 企业选型决策者：在采购前进行多候选模型的盲测验证
• 教育培训机构：向学员演示AI能力差异时避免品牌预设影响

使用风险与建议

性能风险：同步轮询多个子Agent可能产生较高计算开销，建议控制并发模型数量（推荐3-5款）。超时模型将被排除在评测外，需确保 minSuccessful 参数设置合理。

配置风险：config.json 中的模型别名需与系统可用模型精确匹配，配置错误可能导致子Agent启动失败。建议首次使用前验证配置有效性。

存储风险：评测结果保存至本地文件系统，频繁使用可能累积大量历史文件，需定期清理 outputDir。

安全建议：虽然代码审计显示无恶意行为，但T3来源属性建议在高敏感环境中启用文件系统沙箱，限制Skill仅能访问指定配置目录和输出路径。

版本建议：当前v1.0.0为初始版本，建议关注GitHub仓库更新，及时获取稳定性改进。