核心用法
SOTA Tracker 是一个开源的 AI 模型状态追踪系统，通过多种方式为用户提供最新的模型排名数据：
数据获取方式：
- 静态文件下载：直接下载 JSON/CSV 格式的每日更新数据
- 本地数据库查询：使用 SQLite 进行自定义 SQL 查询，支持复杂筛选和排序
- REST API 服务：启动本地服务器后，通过 HTTP 端点获取分类数据、模型对比、新鲜度检测等
- MCP 服务器：可选的 Model Context Protocol 集成（注意 token 成本较高）
- Claude Code 集成：推荐方案，通过自动更新脚本将 SOTA 摘要嵌入
CLAUDE.md
核心功能端点：
- 按类别获取模型排名（
llm_api、image_gen、video等 9 大类） - 检测模型是否过时（
freshness检查） - 查询应避免使用的废弃模型（
forbidden列表） - 模型对比与任务推荐
显著优点
1. 数据源权威性：整合 LMArena（600万+人类投票 Elo 排名）、Artificial Analysis（质量基准与定价）、HuggingFace（下载趋势）三大可信来源，覆盖云 API、本地模型、图像/视频/音频生成等多领域
2. 自动化运维：GitHub Actions 每日 UTC 6:00 自动抓取更新，支持 fork 后一键启用，零维护成本
3. 多场景适配：既提供适合人工阅读的结构化数据，也提供机器友好的 API 接口，开发者可直接集成到下游应用
4. 合规设计：严格遵守 robots.txt 权限，尊重数据来源版权，采用缓存策略降低目标服务器负载
5. 轻量嵌入：针对 Claude Code 优化的静态文件嵌入方案，相比 MCP 大幅降低 token 消耗
潜在缺点与局限性
- 数据延迟：每日更新机制意味着存在最长 24 小时的数据滞后，对于需要实时追踪模型发布的高频场景不够敏感
- 覆盖范围有限：视频、图像、音频模型的排名依赖人工维护，更新频率低于 LLM 类别的自动抓取
- MCP 成本问题：官方明确标注 MCP 服务器模式 token 消耗较高，大规模使用需谨慎评估
- CORS 配置宽松：当前 REST API 默认允许所有来源（
["*"]），生产环境需要手动收紧
- 依赖版本未锁定：
requirements.txt使用最低版本约束而非精确锁定，存在未来依赖更新引入风险的可能
适合的目标群体
- AI 应用开发者：需要快速了解当前最优模型选择，避免使用已被淘汰的过时模型
- 技术研究人员：追踪领域基准变化，进行模型能力的历史对比分析
- AI Agent/助手开发者：需要为 Agent 配置模型选择策略，或动态获取最新模型信息
- Claude Code 深度用户：希望在工作环境中内置 SOTA 知识库，辅助模型选型决策
- 数据工程师：需要标准化的、可追溯的 AI 模型元数据源用于下游分析
使用风险
| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| **网络依赖** | 首次运行需下载 Playwright 浏览器，日常依赖外部 API 可用性 | 配置代理，使用本地缓存数据作为 fallback |
| **数据准确性** | 聚合数据可能存在来源间的排名差异或更新时序问题 | 交叉验证关键决策，关注 `freshness` 时间戳 |
| **性能瓶颈** | SQLite 并发写入限制，高并发 API 场景可能成为瓶颈 | 生产环境建议使用只读副本或迁移至 PostgreSQL |
| **许可证合规** | 部分数据源自 CC-BY 等需署名的许可协议 | 保留数据来源声明，遵守各平台使用条款 |
| **自动化风险** | GitHub Actions 自动提交可能引入意外变更 | 审查 PR 前启用分支保护，定期检查 diff |
整体而言，这是一个设计精良、安全合规的开源数据工具，特别适合需要可靠、低成本方式获取 AI 模型排名信息的场景。