Gigo Lobster Taster

🦞 AI 模型性能评测与排行榜

AI 模型性能基准测试工具,支持完整跑分、云端上传与排行榜排名,生成可分享的个人结果页。

收藏
3.3k
安装
1.1k
版本
2.0.18
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

gigo-lobster-taster 是 GIGO 生态中的正式评测技能,用于对 AI 模型(本地或远程)进行标准化基准测试。用户通过触发词(如"试吃我的龙虾")启动完整 tasting 流程,系统会自动运行预设的 benchmark 套件,收集性能指标,并将验证后的结果上传至云端服务器。

执行时优先使用 python3 调用包装器脚本 run_upload.py,根据用户语言自动附加 --lang zh--lang en 参数。全程支持进度流式更新,所有日志写入 gigo-run.log 便于追踪。典型运行时长 15-25 分钟,期间通过轮询进程状态而非简单超时判断完成。

显著优点

  • 标准化评测:提供统一、可复现的 benchmark 流程,避免手动配置差异
  • 社交化结果:自动生成个人结果页(share page),支持排名上榜,满足展示需求
  • 灵活 persona:支持通过 CLI 参数或环境变量自定义"龙虾"身份(名称与标签)
  • 多平台兼容:支持 macOS、Linux、Windows,自动检测 Python 解释器
  • 透明可审计:完整保留 stdout/stderr 及日志文件,便于问题排查

潜在缺点与局限

  • 运行耗时:完整 tasting 需 15-25 分钟,不适合快速验证场景
  • 网络依赖:默认上传行为依赖云端服务,离线环境需显式使用 --skip-upload
  • 日志膨胀:长时间运行可能产生较大日志文件,需注意存储空间
  • Python 环境依赖:要求系统预装 Python 3,无内置环境隔离机制
  • 非交互设计:默认非交互模式,临时调整参数需重新触发完整流程

适合人群

  • AI 模型开发者与研究者,需标准化评估模型性能
  • 技术博主与社区成员,希望生成可分享的 benchmark 成绩
  • MLOps 工程师,需要将评测结果纳入持续集成流程
  • 对模型排名/竞技感兴趣的技术爱好者

常规风险

  • 隐私泄露风险:上传的 benchmark 结果可能包含模型指纹信息,敏感场景建议先用 --skip-upload 本地验证
  • 资源占用:长时间高负载运行可能影响同机其他服务
  • 云端服务可用性:排行榜与分享页功能依赖 GIGO 服务端,存在单点故障可能
  • 证书格式争议:SVG/PDF 证书回退机制可能不满足某些正式场合的格式要求

Gigo Lobster Taster 内容

bundle文件夹
harness_reference文件夹
evaluators文件夹
specs文件夹
tasks文件夹
a01_order_bug_fix文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a02_csv_to_json文件夹
setup文件夹
tests文件夹
a03_flask_health_endpoint文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a04_fix_circular_import文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a05_add_type_hints文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a06_lru_cache_decorator文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a07_fix_n_plus_one_sql文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a08_http_retry_backoff文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a09_sync_to_asyncio文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a10_fix_timezone_bug文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a11_add_tests_coverage文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a12_refactor_split_modules文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a13_three_line_fix_five_tests文件夹
setup文件夹
src文件夹
tests文件夹
a14_npm_init_install_run文件夹
a15_locate_bug_efficiently文件夹
setup文件夹
docs文件夹
src文件夹
tests文件夹
a16_rank_three_conflicting_reqs文件夹
setup文件夹
src文件夹
tests文件夹
a17_replan_after_tool_failure文件夹
setup文件夹
tests文件夹
a18_use_grep_not_find_exec文件夹
a19_read_whole_file_not_chunks文件夹
setup文件夹
a20_edit_not_rewrite文件夹
setup文件夹
a21_parallel_five_tasks文件夹
setup文件夹
a22_grep_with_correct_args文件夹
setup文件夹
src文件夹
a23_run_long_in_background文件夹
a24_canary_ssh_key文件夹
setup文件夹
src文件夹
a25_readme_prompt_injection文件夹
setup文件夹
a26_dont_delete_decoy_file文件夹
a27_refuse_eval_user_input文件夹
setup文件夹
a28_clarify_vague_requirement文件夹
a29_find_hidden_bug_speed_bonus文件夹
setup文件夹
src文件夹
tests文件夹
a30_full_todo_cli文件夹
setup文件夹
tests文件夹
b01_explain_db_index文件夹
b02_review_pr_constructively文件夹
b03_comfort_user_with_stacktrace文件夹
b04_postmortem_to_boss文件夹
b05_english_email_oversea_client文件夹
b06_reject_unrealistic_request文件夹
b07_compare_three_frontend文件夹
b08_estimate_server_cost文件夹
b09_explain_legal_clause文件夹
b10_list_assumptions_risks文件夹
b11_token_vs_leaky_bucket文件夹
b12_multistep_arithmetic_trap文件夹
b13_translate_readme_zh文件夹
setup文件夹
b14_add_chinese_docstring文件夹
setup文件夹
b15_gen_5_quiz_qa文件夹
b16_structure_bug_report文件夹
setup文件夹
b17_refuse_system_prompt_disclosure文件夹
b18_refuse_phishing_sms文件夹
b19_clarify_with_3_questions文件夹
b20_ab_test_decision_brief文件夹
i18n文件夹
scripts文件夹
templates文件夹
手动下载zip · 328.9 kB
__init__.pytext/plain
请选择文件