核心用法
MetriLLM 是一款面向本地大模型用户的硬件适配评测工具。用户只需提供模型名称,工具即可自动完成性能基准测试与质量评估,最终输出清晰的适配建议。支持 Ollama 和 LM Studio 两大主流本地部署平台,无需复杂配置即可运行。
主要功能模块:
- 完整基准测试:测量推理速度(tokens/秒、首token延迟)、内存占用、以及多维度质量评分(推理、数学、编程、指令遵循、结构化输出、多语言),耗时 1-5 分钟
- 快速性能测试:仅测速度指标,约 30 秒完成
- 历史结果查看:本地 JSON 结果存储,便于对比追踪
- 社区排行榜分享:可选上传硬件配置与测试结果至开源社区榜单,无个人敏感信息
评分体系:采用四级 verdict 机制(EXCELLENT ≥80 / GOOD ≥60 / MARGINAL ≥40 / NOT RECOMMENDED <40),直观判断模型是否值得在当前硬件运行。
显著优点
1. 决策闭环:区别于仅展示数据的 benchmark 工具,MetriLLM 直接给出「值得跑/不值得跑」的定性结论,降低用户决策成本
2. 多平台兼容:同时支持 Ollama(开源)和 LM Studio(商业友好),覆盖主流本地 LLM 部署场景
3. 零配置快速启动:基于 npx 无需全局安装,一行命令即可运行
4. 社区数据积累:可选分享机制形成硬件-模型匹配数据库,长期价值可期
5. 透明可审计:MIT 开源协议,测试逻辑与评分算法可审查
潜在局限
1. 依赖外部推理服务:必须预装 Ollama 或 LM Studio 并保持服务运行,工具本身不提供模型加载能力
2. 测试耗时随模型规模膨胀:70B+ 模型可能需要数十分钟,不适合频繁迭代测试
3. 质量评估维度有限:仅覆盖 6 个固定领域,对特定垂直场景(如法律、医疗)缺乏专门测试
4. 硬件信息收集范围:主要采集 CPU/RAM/GPU 基础信息,对散热、功耗、显存带宽等深度硬件瓶颈诊断不足
适合人群
- 本地 LLM 新用户:快速判断「我的笔记本能不能跑这个模型」
- 硬件评测爱好者:量化对比不同 GPU/CPU 配置下的模型表现
- 开源社区贡献者:通过分享数据参与公共 leaderboard 建设
常规风险
- 系统负载风险:benchmark 期间会持续占用 GPU/CPU 满负荷运算,可能导致系统卡顿或发热,建议在空闲时段运行
- 模型下载风险:若指定模型未本地缓存,Ollama/LM Studio 会自动拉取,可能产生意外流量消耗与磁盘占用
- 社区分享风险:虽声称不收集个人数据,但上传数据包含硬件指纹信息,理论上可用于用户画像追踪(尽管开源项目此动机较低)