autoresearch

🔬 AI 驱动的自主实验优化系统

AI 驱动的自主实验系统,通过单次变量变更、假设优先、度量评估的严格流程,系统性地优化代码配置与超参数,自动记录实验历史并迭代改进。

收藏
16k
安装
3.3k
版本
1.0.2
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Autoresearch 是一套面向 AI 代理的自主实验协议,核心目标是在用户设定的约束边界内,系统化地探索最优配置。它通过三个命令驱动整个流程:

  • `/autoresearch setup`:交互式配置实验参数,包括优化目标(如最小化验证损失)、单一成功度量指标、可修改的目标文件清单、运行命令、指标提取方式、时间预算、约束条件和 Git 分支命名,最终生成 autoresearch.config.md 配置文件。
  • `/autoresearch run`:进入自主实验循环。每轮实验前需回顾历史(results.tsv + Git 日志)、形成假设并阐明理由;每次仅修改一个变量,运行后提取指标,根据「严格优于历史最佳则保留,否则回滚」的规则决策,将结果记录到 results.tsv(不提交)。
  • `/autoresearch analyze`:分析 results.tsv,输出实验概览、改进幅度、有效模式及后续建议。

显著优点

1. 科学严谨性:强制「一次一变量」原则,确保因果可解释;要求「假设先行」,避免盲目试错。
2. 记忆与可复现:Git 提交作为实验笔记本,results.tsv 作为量化历史,完整保留探索轨迹,支持随时回溯。

3. 自动化与持续性:代理自主决策、无限迭代,无需人工逐轮授权,适合长时间运行(如夜间批量搜索)。

4. 通用适应性:不局限于机器学习,适用于编译器优化、Web 性能、数据库调参、提示工程、算法调优等任何「可度量 + 可修改」的场景。

5. 防损机制:崩溃或超时自动回滚、只读文件保护、反作弊约束(禁止修改评估代码),降低实验风险。

潜在缺点与局限性

1. 时间成本高:单次变量变更策略在变量维度高时收敛慢,不适合需要同时调整多个耦合参数的复杂场景。
2. 局部最优陷阱:缺乏全局搜索机制(如贝叶斯优化、遗传算法),可能陷入贪心策略的局部最优。

3. 假设质量依赖:代理的假设形成能力直接影响效率,若假设逻辑薄弱,可能产生大量无效实验。

4. 资源消耗:长时间自主运行可能占用大量计算资源,需配合时间预算和 kill timeout 使用。

5. 度量设计敏感:单一指标可能遗漏多维权衡(如精度 vs 速度),需要用户预先做好指标设计。

适合人群

  • ML 工程师进行超参数搜索、消融实验
  • 系统工程师优化编译器/数据库/服务配置
  • 前端工程师调优构建工具与性能指标
  • 算法研究员探索参数空间
  • 任何需要「可量化改进 + 可版本控制」的迭代优化场景

常规风险

  • 资源失控:未设置合理 time budget 和 kill timeout 可能导致实验挂起或资源耗尽。
  • Git 污染:若误将 results.tsv 提交或忘记回滚失败实验,可能污染代码库。
  • 过度简化:严格遵守「一次一变量」在高度耦合系统中可能效率低下,需人工判断是否放宽。
  • 代理误判:代理可能对「小改进是否值得保留」做出与用户直觉不符的决策,需定期 analyze 审查。

autoresearch 内容

手动下载zip · 9.2 kB
reference.mdtext/markdown
请选择文件