SOTA AI Model Tracker

核心功能

SOTA Tracker 是一个开源的AI模型追踪数据库，自动每日更新来自 LMArena（600万+人工投票Elo排名）、Artificial Analysis（LLM基准测试与定价）、HuggingFace（模型下载趋势）等权威来源的数据。涵盖LLM API/本地部署、图像生成、视频生成、语音合成/识别、向量嵌入等9大类别。

显著优点

1. 多维度数据整合：不仅提供排名，还包含价格、速度、质量评分、硬件要求等决策关键信息
2. 灵活的接入方式：支持静态文件下载（JSON/CSV/SQLite）、REST API、MCP服务器，以及专为Claude Code优化的嵌入式静态摘要
3. 自动化运维：GitHub Actions每日自动爬取更新，systemd定时任务支持本地自动化
4. 实用衍生功能：内置"forbidden"过时模型清单、模型新鲜度检查、任务推荐引擎
5. 成本优化设计：针对Claude Code用户明确推荐静态文件嵌入（低token消耗），而非MCP方式

潜在局限

• 数据来源依赖：核心排名完全依赖第三方平台（LMArena/AA），若其API变更或限流会影响服务
• 更新延迟：每日更新频率对快节奏的AI领域可能仍有滞后（如模型发布当天无法立即获取）
• 手动维护类别：视频/图像/音频模型依赖人工策划，覆盖完整性不如LLM自动爬取
• 地域可用性：未标注模型在各地区的API可用性（如部分模型在中国无法访问）
• MCP非默认：MCP服务器虽提供但需手动启用，且文档明确提示token成本较高

适合人群

• AI应用开发者需要选型参考
• 技术团队构建内部模型评估流程
• Claude Code/OpenCode用户希望系统知晓最新SOTA
• 研究者追踪模型演进趋势

常规风险

• 数据准确性风险：爬取数据可能存在瞬时错误，关键决策建议交叉验证原始来源
• 许可合规：虽标注robots.txt许可，但大规模商业使用需关注各数据源的TOU变更
• 模型过时风险："forbidden"清单依赖维护者判断，可能遗漏或误判
• 依赖安全性：使用Playwright爬取，需确保Chromium组件来源可信

核心功能

SOTA Tracker 是一款开源的AI模型最先进(SOTA)状态追踪系统，专注于解决AI模型快速迭代带来的信息滞后问题。该系统通过自动化数据聚合，为用户提供准确的模型选型参考。

显著优点

1. 权威数据源整合

• 每日自动抓取LMArena Elo排名（600万+人工投票）
• 整合Artificial Analysis质量基准与定价数据
• 同步HuggingFace模型下载量与趋势信息
• 手动维护视频/图像/音频等专业领域模型

2. 多形态接口支持

• 静态JSON/CSV文件下载，零依赖使用
• SQLite本地数据库，支持SQL灵活查询
• REST API服务器，便于服务化集成
• MCP服务器支持（可选，token成本较高）
• Claude Code专用嵌入方案（推荐，低token消耗）

3. 实用功能设计

• forbidden列表标记过时模型，避免误选
• 模型新鲜度检查(freshness)预警机制
• 任务导向的模型推荐(recommend)
• 双模型对比功能(compare)
• 新发布模型追踪(recent)

4. 自动化运维

• GitHub Actions每日6点UTC自动更新
• 支持systemd/crontab本地定时任务
• 智能缓存管理减少源站负载

潜在局限

数据覆盖偏差：主要聚焦于英文主流模型，中文特化模型(如文心一言、通义千问部分版本)覆盖可能不完整。视频/音频领域依赖手动维护，更新频率低于LLM领域。

实时性约束：尽管标榜"每日更新"，但实际数据滞后于官方发布数小时至1天。对于追求极致时效的场景（如模型发布当日选型），建议直接查阅源站。

排名方法论争议：LMArena Elo基于众包投票，存在 popularity bias；Artificial Analysis的自动化评测可能与实际用户体验存在偏差。系统未提供多源排名的置信度融合。

MCP模式成本：官方明确建议Claude Code用户使用静态文件嵌入而非MCP服务器，因后者token消耗显著更高。

适合人群

• AI应用开发者：需要快速确定当前最优API/本地模型选型
• 技术决策者：评估模型迁移成本与收益
• AI研究者：追踪领域进展，识别新兴模型趋势
• Claude Code用户：通过CLAUDE.md嵌入获得上下文感知推荐

常规风险

| 风险类型 | 级别 | 说明 |

|---------|------|------|

| 外部API依赖 | 中 | 源站(lmarena.ai等)服务中断将导致数据 stale |

| 排名主观性 | 低 | 不同评测维度(Elo vs MMLU vs HumanEval)可能给出矛盾建议 |

| 模型信息过时 | 低 | "SOTA"状态快速变化，需结合freshness字段判断 |

| 许可合规 | 低 | 聚合数据遵循各源站robots.txt，但商用需确认各源条款 |

安全评估

该工具通过CLS-Certify v2.1.0认证，评分78/100（A级）。代码无危险函数、无SQL注入风险、无硬编码凭证。网络行为仅限访问声明的数据源(LMArena/HuggingFace/Artificial Analysis)，本地数据存储于~/.config/目录。依赖包(fastmcp/fastapi/playwright)经审计无已知CVE。