核心功能
Model Healthcheck 是一个系统运维诊断技能，用于批量检测配置的AI模型服务健康状态。通过并发调用所有provider/model组合，验证网络连通性、API认证有效性和模型响应能力。
显著优点
1. 高效并发检测：所有模型同时测试，非串行执行，大幅缩短总耗时
2. 精准超时控制：30秒硬超时机制，避免阻塞等待无响应服务
3. 标准化探针：使用固定指令"Reply with exactly: model ok"，排除模型能力变量干扰，纯检测连通性
4. 自动资源清理：cleanup: "delete"确保测试会话不残留
5. 智能自我排除：自动跳过当前正在使用的模型，避免自我测试悖论
潜在局限
- 浅层健康检查：仅验证模型"能响应"，不检测输出质量、推理速度、长上下文稳定性等深度指标
- 单点探针风险：30秒内单次请求成功即判定通过，未考虑偶发网络抖动
- 无历史对比：缺乏基线数据，无法判断性能退化趋势
- 平台兼容性：在飞书/ WhatsApp 等受限平台需降级为列表格式，丧失表格可读性
- 认证盲区：部分错误可能被笼统归类为"API error"，需人工进一步诊断
适用场景
- 多模型网关配置变更后的回归验证
- 生产环境故障排查时的快速分诊
- 定期巡检自动化脚本集成
- 新模型接入前的连通性预检
常规风险
| 风险项 | 说明 |
|--------|------|
| 成本暴露 | 每次测试消耗各模型的token配额，高频自动执行可能产生意外费用 |
| 速率限制触发 | 并发请求可能瞬间触达某些服务商的RPM/TPM限流 |
| 误报健康 | 模型仅返回简单响应即通过，实际可能处于降级服务模式 |
| 敏感信息泄露 | 错误日志可能包含API密钥片段，需确保输出渠道安全 |
建议改进
- 增加渐进式重试机制（1次失败后再试2次）
- 支持自定义探针prompt，检测特定能力
- 增加延迟P50/P99统计，不仅看通断
- 对接Prometheus/metrics导出，实现可观测性