MetriLLM 是一款面向本地大语言模型用户的硬件适配评估工具,旨在解决「这台机器能跑什么模型」的核心痛点。用户只需指定模型名称,工具便通过标准化基准测试,从性能表现(tokens/秒、首 token 延迟、内存占用)与质量能力(推理、数学、编码、指令遵循、结构化输出、多语言)两大维度生成量化评分,并以 EXCELLENT / GOOD / MARGINAL / NOT RECOMMENDED 四级 verdict 直观判定适配性。
核心用法简洁:依托 npx 零安装运行,支持 Ollama 与 LM Studio 两大主流本地推理后端,完整评测耗时 1–5 分钟(7B+ 模型),--perf-only 模式可压缩至 30 秒快速摸底。输出为结构化 JSON,便于脚本集成;--share 选项可将结果匿名上传至社区排行榜,横向对比真实硬件环境下的模型表现。
显著优点包括:① 标准化测试集消除主观体感差异,提供可复现的量化依据;② 内存占用实测避免「能加载但跑不动」的陷阱;③ 社区 leaderboard 形成 crowdsourced 性能数据库,覆盖 CPU/GPU/内存组合长尾场景。
潜在局限:评测依赖已部署的本地推理后端,无法自动下载或配置模型;质量测试集虽覆盖多任务,但与权威学术基准(如 MMLU、HumanEval)并非同一套体系,分数不可直接横向对比;硬件探测粒度有限(无细粒度 GPU 显存占用曲线)。
适合人群:本地 LLM 爱好者、边缘设备开发者、硬件评测博主、需要在采购前验证配置可行性的企业 IT 决策者。
常规风险:工具需执行系统级命令读取硬件信息与启动模型推理,应确保来源为官方 npm 包(metrillm@latest)以避免供应链攻击;--share 上传数据虽声明不含个人信息,但仍会暴露模型版本、性能分数及硬件型号,敏感环境需谨慎使用。