sota-tracker-claw

核心用法

SOTA Tracker 提供五种灵活的数据获取方式，满足不同场景需求：静态文件下载可直接获取 JSON/CSV 格式的完整数据集；本地 SQLite 查询支持复杂 SQL 筛选和自定义分析；Claude Code 集成通过嵌入 CLAUDE.md 实现低 Token 成本的实时查询；REST API 提供标准化的 HTTP 接口便于服务集成；MCP Server 为兼容的 AI 助手提供原生工具调用能力。数据覆盖 LLM、图像生成、视频合成、语音处理等 9 大类别，包含 Elo 排名、基准测试、定价等多维度指标。

显著优点

该项目最大优势在于数据权威性与时效性的完美结合。通过自动化 GitHub Actions 每日抓取 LMArena（600 万+人类投票）、Artificial Analysis、HuggingFace 等顶级数据源，确保排名反映最新市场格局。独特的 "forbidden" 过期模型清单功能有效避免开发者选用已淘汰方案。技术架构设计合理，提供从静态文件到动态 API 的完整谱系，既支持离线批处理又支持实时查询，且针对 Claude Code 优化的静态嵌入方案显著降低使用成本。

潜在缺点与局限性

作为 T3 级别的社区项目，其长期维护稳定性存在不确定性，目前依赖个人开发者账号（romancircus）维护。功能层面，网络强依赖是主要限制——无论是每日数据更新还是实时 API 调用均需访问外部服务，完全离线环境无法获取最新数据。MCP 模式虽然功能强大，但文档明确提示其 Token 消耗高于静态嵌入方案。此外，爬虫依赖 Playwright 等重型库，本地部署时环境配置相对复杂。

适合的目标群体

该工具特别适合AI 技术选型决策者（架构师、技术负责人）、AI 应用开发者（需要对比模型性能与成本）、学术研究人员（追踪领域最新进展）以及Claude Code 重度用户（通过 CLAUDE.md 集成获得上下文感知的模型推荐）。对于需要构建内部模型评估体系的企业，其标准化的 JSON/SQLite 导出功能可快速集成到现有数据 pipeline 中。

使用风险

主要风险集中在数据源稳定性与合规性两方面：若 LMArena 或 HuggingFace 更改 API/robots.txt 策略，自动更新可能中断；虽然项目声明符合合理使用原则并尊重 robots.txt，但大规模商业部署时仍需关注数据源平台的服务条款变更。技术风险方面，虽代码本身通过安全审计，但 Playwright 浏览器自动化可能因目标网站结构变化而失效，需关注项目更新状态。

核心功能

SOTA Tracker 是一个开源的 AI 模型状态追踪工具，通过自动化数据抓取与聚合，解决 AI 模型更新频繁、难以追踪的行业痛点。项目每日从 LMArena（600万+人工投票）、Artificial Analysis、HuggingFace 三大权威来源抓取数据，覆盖 LLM、图像生成、视频生成、语音合成等 9 大类别。

显著优点

1. 多模态数据覆盖：不仅追踪 GPT/Claude 等文本模型，还涵盖 FLUX.2、LTX-2、Whisper 等图像/视频/语音模型，满足多场景需求
2. 灵活的接入方式：提供静态文件下载、SQLite 本地查询、REST API、MCP Server、Claude Code 集成五种使用方式，适应不同技术栈
3. 自动化运维：基于 GitHub Actions 实现每日 6 AM UTC 自动更新，无需人工维护即可获得最新数据
4. 成本优化设计：推荐静态文件嵌入而非 MCP 调用，显著降低 token 消耗

潜在局限性

• 数据延迟：日更新频率对于追求实时的场景可能不足
• 手动维护类别：视频/图像/音频等非文本模型依赖人工策展，更新频率不定
• 网络依赖：首次运行需联网抓取，虽支持缓存回退但仍需定期更新
• MCP 成本较高：官方明确建议优先使用静态文件，MCP 模式 token 消耗大

适合人群

• AI 应用开发者：需要快速选型、对比模型能力
• 技术决策者：追踪行业趋势，制定技术路线图
• Claude Code / OpenCode 用户：通过 CLAUDE.md/agents.md 集成获得上下文感知建议
• 研究者：需要结构化数据做进一步分析

常规风险

• 依赖外部 API 可用性（LMArena、HuggingFace 等）
• 数据抓取存在被源站限制的可能性（当前遵守 robots.txt）
• 需自行验证模型许可条款，工具仅提供排名数据

项目采用 MIT 许可证，代码安全审计获 S 级评分，无恶意代码或隐私收集行为，是值得信赖的社区基础设施项目。