MetriLLM

⚡ 为你的硬件找到最合适的本地大模型

一键测试本地大模型在你的机器上跑得快不快、质量好不好、内存够不够,直接给出「值得跑」还是「别折腾」的结论。

收藏
4.1k
安装
984
版本
0.2.6
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

MetriLLM 是一款面向本地大模型用户的硬件适配评测工具。用户只需提供模型名称,工具即可自动完成性能基准测试与质量评估,最终输出清晰的适配建议。支持 Ollama 和 LM Studio 两大主流本地部署平台,无需复杂配置即可运行。

主要功能模块:

  • 完整基准测试:测量推理速度(tokens/秒、首token延迟)、内存占用、以及多维度质量评分(推理、数学、编程、指令遵循、结构化输出、多语言),耗时 1-5 分钟
  • 快速性能测试:仅测速度指标,约 30 秒完成
  • 历史结果查看:本地 JSON 结果存储,便于对比追踪
  • 社区排行榜分享:可选上传硬件配置与测试结果至开源社区榜单,无个人敏感信息

评分体系:采用四级 verdict 机制(EXCELLENT ≥80 / GOOD ≥60 / MARGINAL ≥40 / NOT RECOMMENDED <40),直观判断模型是否值得在当前硬件运行。

显著优点

1. 决策闭环:区别于仅展示数据的 benchmark 工具,MetriLLM 直接给出「值得跑/不值得跑」的定性结论,降低用户决策成本
2. 多平台兼容:同时支持 Ollama(开源)和 LM Studio(商业友好),覆盖主流本地 LLM 部署场景

3. 零配置快速启动:基于 npx 无需全局安装,一行命令即可运行

4. 社区数据积累:可选分享机制形成硬件-模型匹配数据库,长期价值可期

5. 透明可审计:MIT 开源协议,测试逻辑与评分算法可审查

潜在局限

1. 依赖外部推理服务:必须预装 Ollama 或 LM Studio 并保持服务运行,工具本身不提供模型加载能力
2. 测试耗时随模型规模膨胀:70B+ 模型可能需要数十分钟,不适合频繁迭代测试

3. 质量评估维度有限:仅覆盖 6 个固定领域,对特定垂直场景(如法律、医疗)缺乏专门测试

4. 硬件信息收集范围:主要采集 CPU/RAM/GPU 基础信息,对散热、功耗、显存带宽等深度硬件瓶颈诊断不足

适合人群

  • 本地 LLM 新用户:快速判断「我的笔记本能不能跑这个模型」
  • 硬件评测爱好者:量化对比不同 GPU/CPU 配置下的模型表现
  • 开源社区贡献者:通过分享数据参与公共 leaderboard 建设

常规风险

  • 系统负载风险:benchmark 期间会持续占用 GPU/CPU 满负荷运算,可能导致系统卡顿或发热,建议在空闲时段运行
  • 模型下载风险:若指定模型未本地缓存,Ollama/LM Studio 会自动拉取,可能产生意外流量消耗与磁盘占用
  • 社区分享风险:虽声称不收集个人数据,但上传数据包含硬件指纹信息,理论上可用于用户画像追踪(尽管开源项目此动机较低)

MetriLLM 内容

手动下载zip · 1.7 kB
SKILL.mdtext/markdown
请选择文件