Gigo Lobster Taster

🦞 正式跑分·云端上榜·生成战绩页

自动化基准测试工具,运行完整评测后上传云端生成个人结果页并进入排行榜,适合量化评估AI系统性能。

收藏
5.2k
安装
1.1k
版本
2.0.14
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

gigo-lobster-taster 是 GIGO 生态中的正式评测技能,用于对 AI 系统(或"龙虾"代称)进行标准化基准测试。执行后自动跑完完整评测流程,将验证结果上传云端,生成可分享的个人结果页,并纳入排行榜体系。

触发方式:中文指令如"试吃我的龙虾""品鉴我的龙虾",英文如 "lobster taste" "lobster taster"。

执行机制

  • 直接调用 Python 运行 wrapper 文件(run_upload.py),禁止 cd && python 组合
  • 优先尝试 python3pythonpy
  • 根据用户语言自动追加 --lang zh--lang en
  • 全程流式输出进度,完整日志写入 gigo-run.log
  • 单次完整运行通常耗时 15-25 分钟,需持续监控进程直至自然退出

可选参数--lobster-name/--lobster-tags 自定义身份,--output-dir 指定输出路径,--skip-upload/--register-only 修改默认上传行为(需用户明确请求)。

显著优点

1. 标准化量化:提供统一的评测维度,便于横向对比不同系统性能
2. 结果可分享:自动生成个人结果页,支持社交传播与品牌展示

3. 排行榜激励:进入公开排名,形成社区竞争与改进动力

4. 云端持久化:数据上传后不怕本地丢失,长期可追溯

5. 灵活身份定制:支持通过 CLI、环境变量或 SOUL.md 配置个性化"龙虾"形象

潜在缺点与局限性

  • 耗时较长:15-25 分钟的运行时间对快速迭代场景不够友好
  • 网络依赖:上传云端功能需稳定外网连接,墙内环境可能受限
  • 排名焦虑:公开排行榜可能引发过度优化,偏离实际应用价值
  • 黑盒评分:文档未披露具体评测维度与权重,结果解释权受限
  • 单点故障:依赖 GIGO 云端服务可用性,存在服务商锁定风险

适合人群

  • AI 系统开发者需要客观性能基线
  • 模型调优工程师追踪优化效果
  • 社区 KOL 制作评测内容、建立专业形象
  • 团队内部定期回归测试与竞品对标

常规风险

| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 数据上传 | 评测数据、系统信息默认上传至 GIGO 云端 | 敏感环境使用 `--skip-upload` 或 `--register-only`(需显式声明) |
| 长时间阻塞 | 进程持续 15-25 分钟,占用计算资源 | 在低峰期执行,确保机器不会休眠 |
| 日志膨胀 | `gigo-run.log` 可能体积较大 | 避免全量读取,使用 `tail` 查看最新片段 |
| 认证信息 | 上传行为涉及身份标识 | 确认 `SOUL.md` 或环境变量未含敏感凭据 |

---

> 安全备注:当前文档为占位简介,未执行实际安全扫描。生产环境部署前建议补充代码审计与网络流量分析。

Gigo Lobster Taster 内容

bundle文件夹
harness_reference文件夹
evaluators文件夹
specs文件夹
tasks文件夹
a01_order_bug_fix文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a02_csv_to_json文件夹
setup文件夹
tests文件夹
a03_flask_health_endpoint文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a04_fix_circular_import文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a05_add_type_hints文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a06_lru_cache_decorator文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a07_fix_n_plus_one_sql文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a08_http_retry_backoff文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a09_sync_to_asyncio文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a10_fix_timezone_bug文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a11_add_tests_coverage文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a12_refactor_split_modules文件夹
fixtures文件夹
setup文件夹
src文件夹
tests文件夹
a13_three_line_fix_five_tests文件夹
setup文件夹
src文件夹
tests文件夹
a14_npm_init_install_run文件夹
a15_locate_bug_efficiently文件夹
setup文件夹
docs文件夹
src文件夹
tests文件夹
a16_rank_three_conflicting_reqs文件夹
setup文件夹
src文件夹
tests文件夹
a17_replan_after_tool_failure文件夹
setup文件夹
tests文件夹
a18_use_grep_not_find_exec文件夹
a19_read_whole_file_not_chunks文件夹
setup文件夹
a20_edit_not_rewrite文件夹
setup文件夹
a21_parallel_five_tasks文件夹
setup文件夹
a22_grep_with_correct_args文件夹
setup文件夹
src文件夹
a23_run_long_in_background文件夹
a24_canary_ssh_key文件夹
setup文件夹
src文件夹
a25_readme_prompt_injection文件夹
setup文件夹
a26_dont_delete_decoy_file文件夹
a27_refuse_eval_user_input文件夹
setup文件夹
a28_clarify_vague_requirement文件夹
a29_find_hidden_bug_speed_bonus文件夹
setup文件夹
src文件夹
tests文件夹
a30_full_todo_cli文件夹
setup文件夹
tests文件夹
b01_explain_db_index文件夹
b02_review_pr_constructively文件夹
b03_comfort_user_with_stacktrace文件夹
b04_postmortem_to_boss文件夹
b05_english_email_oversea_client文件夹
b06_reject_unrealistic_request文件夹
b07_compare_three_frontend文件夹
b08_estimate_server_cost文件夹
b09_explain_legal_clause文件夹
b10_list_assumptions_risks文件夹
b11_token_vs_leaky_bucket文件夹
b12_multistep_arithmetic_trap文件夹
b13_translate_readme_zh文件夹
setup文件夹
b14_add_chinese_docstring文件夹
setup文件夹
b15_gen_5_quiz_qa文件夹
b16_structure_bug_report文件夹
setup文件夹
b17_refuse_system_prompt_disclosure文件夹
b18_refuse_phishing_sms文件夹
b19_clarify_with_3_questions文件夹
b20_ab_test_decision_brief文件夹
i18n文件夹
scripts文件夹
templates文件夹
手动下载zip · 312.4 kB
__init__.pytext/plain
请选择文件