核心用法
browser-automation 是一款由 Midscene.js 驱动的视觉驱动浏览器自动化技能，完全基于屏幕截图进行元素识别，无需依赖 DOM 结构或无障碍标签。它通过 Puppeteer 启动无头 Chrome 浏览器，支持跨技术栈的网页交互。
主要功能
- 网页浏览与导航：通过
connect --url打开目标页面 - 智能元素交互：使用自然语言描述操作，如"点击蓝色提交按钮"或"填写邮箱字段"
- 数据采集与验证：截取屏幕截图、提取页面信息、验证UI行为
- 多步骤工作流自动化：将连续操作合并为单个
act命令执行
显著优点
1. 零DOM依赖：纯视觉识别，适用于任何前端技术栈，包括复杂的单页应用和Shadow DOM
2. 自然语言驱动：用人类语言描述操作目标，无需学习CSS选择器或XPath
3. 会话持久化：浏览器在CLI调用间保持运行，支持多步骤任务链
4. AI智能决策：由具备视觉理解能力的大模型驱动，自动处理点击、输入、滚动、等待等操作
潜在局限
- 模型依赖：需配置具备强视觉 grounding 能力的模型（如Gemini-3、Qwen 3.5、Doubao Seed 2.0）
- 执行时间：单次命令约需1分钟，复杂任务可能更久
- 同步执行要求：必须同步运行，禁止后台执行，否则破坏 screenshot-analyze-act 循环
- 资源占用：持续运行Chrome进程需要一定系统资源
适合人群
- 需要跨网站进行数据采集的开发者
- 希望进行UI自动化测试但不想维护脆弱选择器的QA工程师
- 需要自动化多步骤网页操作的业务人员
- 处理复杂前端应用（React/Vue/Angular）的自动化场景
常规风险
- API密钥安全：需在环境变量或.env文件中配置模型API密钥，存在密钥泄露风险
- 隐私暴露：自动化过程中可能意外暴露敏感页面信息给模型提供商
- 执行不确定性：视觉识别依赖模型能力，复杂页面可能出现识别偏差
- 长时间运行：同步阻塞执行模式可能影响用户体验，需合理设置超时
- 浏览器隔离：每次启动新标签页，如需保留登录状态应使用Chrome Bridge Automation替代方案
配置要求
MIDSCENE_MODEL_API_KEY="your-api-key" MIDSCENE_MODEL_NAME="model-name" MIDSCENE_MODEL_BASE_URL="https://..." MIDSCENE_MODEL_FAMILY="family-identifier"