核心用法
MetriLLM 通过命令行接口为本地部署的大语言模型提供标准化基准测试。用户需先安装 Ollama 并拉取目标模型，随后通过 metrillm bench --model <name> --json 执行完整评测。该命令将自动测量三大维度：
1. 性能指标：tokens/second（每秒生成 token 数）、time to first token（首 token 延迟）、内存占用
2. 质量评估：覆盖推理、数学、编程、指令遵循、结构化输出、多语言六大能力
3. 适配 verdict：基于综合得分输出四级评级（EXCELLENT≥80、GOOD≥60、MARGINAL≥40、NOT RECOMMENDED<40）
对于快速筛查场景，可追加 --perf-only 参数跳过质量测试，将耗时从 1-5 分钟压缩至约 30 秒。所有结果以 JSON 格式持久化存储于 ~/.metrillm/results/，支持 --share 上传至公共排行榜。
显著优点
- 硬件决策导向：明确回答「该模型能否在我的机器上流畅运行」，降低试错成本
- 多维度量化：不局限于吞吐速率，同步评估实际任务质量，避免「跑得快但答不对」的陷阱
- 本地优先设计：完全离线执行，无需 API 密钥，保护模型与数据隐私
- 生态集成：原生对接 Ollama，无缝融入现有本地 LLM 工作流
- 可扩展输出：JSON 结构化结果便于 CI/CD 集成或自动化报告生成
潜在缺点与局限性
- Ollama 绑定：目前仅支持 Ollama 后端，llama.cpp、vLLM 等其他推理引擎用户需额外适配
- 基准覆盖度：质量测试套件虽涵盖常见场景，但未纳入最新专业基准（如 SWE-bench、GPQA Diamond），对前沿科研模型评估可能不足
- 评分黑盒：四级 verdict 的具体加权算法未开源，高级用户难以自定义评分策略
- 硬件感知有限：虽报告内存占用，但缺乏对 GPU 显存带宽、CPU AVX 指令集等细粒度瓶颈的诊断
- 长上下文缺失：未显式测试长文本（>8K）的推理稳定性与 KV-cache 效率
适合人群
- 本地 LLM 新手：快速建立「模型大小-硬件配置-使用体验」的直观认知
- 硬件升级决策者：在采购新显卡/内存前，量化现有配置可承载的模型上限
- RAG/Agent 开发者：筛选适合特定延迟要求（如 <500ms TTFT）的基座模型
- 模型策展者：维护私有模型仓库时，自动化标注性能标签
常规风险
1. 资源争用：基准测试期间模型独占 GPU/CPU，若在生产环境执行可能导致服务中断
2. 结果波动：未隔离后台进程或电源策略（如笔记本节能模式）时，tokens/second 可能出现 10-20% 方差
3. 质量评估主观性：部分任务（如「指令遵循」）的评分依赖 LLM-as-a-Judge，存在误判可能
4. 数据残留：--share 上传功能可能意外暴露本地路径、用户名等元数据，需谨慎使用
使用建议
- 首次使用前通过
ollama list确认模型已正确拉取 - 正式跑分前关闭浏览器、IDE 等 GPU 密集型应用
- 对比多个模型时，保持同一硬件环境与电源模式以确保可比性
- 对关键决策，建议同时运行
--perf-only与完整测试交叉验证