MetriLLM

🧪 智能评测本地模型硬件适配性

智能评测本地大模型在您的硬件上的运行表现,提供速度、质量与内存适配的综合评分与可行性建议。

收藏
2.6k
安装
984
版本
0.2.7
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

MetriLLM 是一款专为本地大语言模型(LLM)设计的硬件适配评估工具,通过标准化基准测试帮助用户判断特定模型是否适合在其设备上运行。用户只需指定模型名称,工具即可自动完成性能与质量的双重评测,并输出清晰的适用性 verdict(EXCELLENT/GOOD/MARGINAL/NOT RECOMMENDED)。

显著优点

1. 一站式硬件适配诊断:整合 tokens/second、首 token 延迟(TTFT)、内存占用等关键指标,解决"模型能否跑、跑得怎样"的核心痛点
2. 双模式测试:完整模式(1-5 分钟)覆盖性能+质量六大维度(推理、数学、编程、指令遵循、结构化输出、多语言);快速模式(约 30 秒)专注纯性能评估

3. 社区化数据沉淀:支持一键分享结果至公开排行榜,形成真实的跨硬件性能数据库,辅助选型决策

4. 零配置开箱即用:基于 npx 运行,无需全局安装;兼容 Ollama 与 LM Studio 两大主流本地运行框架

潜在局限与风险

  • 依赖外部运行时:必须预先配置 Ollama 或 LM Studio 并启动服务,对新手存在配置门槛
  • 测试负载固定:基准 prompt 固定,无法针对用户实际应用场景定制测试
  • 内存评估静态:仅报告测试时刻的内存占用,未模拟长上下文或并发场景的压力测试
  • 质量评分主观性:部分维度(如"推理质量")依赖自动化评判,可能与人类感知存在偏差

适合人群

  • 本地 LLM 玩家:希望在采购硬件或下载模型前预判运行效果
  • 开发者/团队:评估不同模型在现有服务器/工作站上的部署可行性
  • 开源社区贡献者:愿意分享硬件-模型配对数据,完善公开排行榜

常规风险提示

  • 测试期间会产生持续 GPU/CPU 高负载,建议关闭其他图形密集型应用
  • 分享 leaderboard 数据时上传模型名称、评分及硬件规格(CPU/RAM/GPU),不含个人敏感信息
  • 大规模模型测试可能导致临时内存压力,建议保留 20%+ 内存余量

MetriLLM 内容

手动下载zip · 1.6 kB
SKILL.mdtext/markdown
请选择文件