Gigo Lobster Taster

🦞 AI 模型性能基准测试与排行榜

基于 Python 的 AI 性能基准测试工具,跑完整评测后自动上传云端生成个人结果页并进入排行榜,运行时间约15-25分钟。

收藏
2.4k
安装
1.1k
版本
2.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

gigo-lobster-taster 是一款面向 AI 模型性能的正式基准测试工具,设计用于全面评估模型能力并生成可对比的评分结果。用户通过自然语言触发词(如"试吃我的龙虾"或"lobster taste")启动完整评测流程,系统会自动检测 Python 环境(优先 python3,其次 python,最后 py),执行包装器脚本 run_upload.py 并传入语言参数(中文 --lang zh,英文 --lang en)。

显著优点

1. 自动化评测流水线:一键启动完整基准测试,无需人工干预,支持流式进度更新
2. 云端排行榜集成:默认自动上传验证结果,生成个人专属分享页面,进入公开排行榜

3. 灵活的个性化配置:支持通过 CLI 参数(--lobster-name--lobster-tags)或环境变量自定义评测身份标识

4. 多平台兼容:支持 macOS、Linux、Windows 三大主流操作系统

5. 完善的日志监控:评测过程中实时输出进度,完整日志写入 gigo-run.log,便于事后审计

潜在局限与风险

  • 运行时间较长:完整评测通常需要 15-25 分钟,需保持进程持续运行
  • 网络依赖:默认上传云端,需稳定网络连接;敏感场景需显式使用 --skip-upload
  • 资源占用:基准测试对计算资源要求较高
  • 云端数据:评测结果默认公开上榜,注重隐私的用户需手动调整上传行为

适合人群

AI 模型开发者、研究者、评测机构及希望量化对比模型性能的技术团队,尤其适合需要公开 leaderboard 排名的竞赛场景。

常规风险提示

  • 确保工作目录权限正常,避免日志写入失败
  • 长任务运行期间勿强制中断进程
  • 评测前建议通过 --skip-upload 进行本地预跑测试

Gigo Lobster Taster 内容

bundle文件夹
harness_reference文件夹
evaluators文件夹
specs文件夹
tasks文件夹
a01_order_bug_fix文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a02_csv_to_json文件夹
setup文件夹
tests文件夹
a03_flask_health_endpoint文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a04_fix_circular_import文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a05_add_type_hints文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a06_lru_cache_decorator文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a07_fix_n_plus_one_sql文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a08_http_retry_backoff文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a09_sync_to_asyncio文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a10_fix_timezone_bug文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a11_add_tests_coverage文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a12_refactor_split_modules文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a13_three_line_fix_five_tests文件夹
setup文件夹
src文件夹
tests文件夹
a14_npm_init_install_run文件夹
a15_locate_bug_efficiently文件夹
setup文件夹
docs文件夹
src文件夹
tests文件夹
a16_rank_three_conflicting_reqs文件夹
setup文件夹
src文件夹
tests文件夹
a17_replan_after_tool_failure文件夹
setup文件夹
tests文件夹
a18_use_grep_not_find_exec文件夹
a19_read_whole_file_not_chunks文件夹
setup文件夹
a20_edit_not_rewrite文件夹
setup文件夹
a21_parallel_five_tasks文件夹
setup文件夹
a22_grep_with_correct_args文件夹
setup文件夹
src文件夹
a23_run_long_in_background文件夹
a24_canary_ssh_key文件夹
setup文件夹
src文件夹
a25_readme_prompt_injection文件夹
setup文件夹
a26_dont_delete_decoy_file文件夹
a27_refuse_eval_user_input文件夹
setup文件夹
a28_clarify_vague_requirement文件夹
a29_find_hidden_bug_speed_bonus文件夹
setup文件夹
src文件夹
tests文件夹
a30_full_todo_cli文件夹
setup文件夹
tests文件夹
b01_explain_db_index文件夹
b02_review_pr_constructively文件夹
b03_comfort_user_with_stacktrace文件夹
b04_postmortem_to_boss文件夹
b05_english_email_oversea_client文件夹
b06_reject_unrealistic_request文件夹
b07_compare_three_frontend文件夹
b08_estimate_server_cost文件夹
b09_explain_legal_clause文件夹
b10_list_assumptions_risks文件夹
b11_token_vs_leaky_bucket文件夹
b12_multistep_arithmetic_trap文件夹
b13_translate_readme_zh文件夹
setup文件夹
b14_add_chinese_docstring文件夹
setup文件夹
b15_gen_5_quiz_qa文件夹
b16_structure_bug_report文件夹
setup文件夹
b17_refuse_system_prompt_disclosure文件夹
b18_refuse_phishing_sms文件夹
b19_clarify_with_3_questions文件夹
b20_ab_test_decision_brief文件夹
i18n文件夹
scripts文件夹
templates文件夹
手动下载zip · 329.9 kB
__init__.pytext/plain
请选择文件