核心用法
web-access 是一套面向真实网页环境的通用联网技能,通过 Chrome DevTools Protocol (CDP) 直连用户日常浏览器实例,实现从简单静态抓取到复杂动态交互的全场景覆盖。
三层工具架构:
- 轻量层:
web_search用于发现信息源;web_fetch定向提取页面可读内容;curl获取原始 HTML/结构化数据;可选jina.ai预处理大幅节省 token - 浏览器层:CDP 模式为核心能力,支持登录态继承、反爬绕过、JS 渲染、自由导航、媒体提取、视频帧采样等复杂操作
- 分治层:多子 Agent 并行调研,独立 tab 隔离,结果汇总,保护主上下文
关键操作模式:
- 用
/eval读写 DOM、提取数据、操控元素 - 用
/click或/clickAt触发交互,前者快速后者模拟真实手势 - 用
/new创建后台 tab,任务结束/close清理 - 视频内容通过操控
<video>元素 +/screenshot实现离散采样
显著优点
1. 真实浏览器环境:直连用户 Chrome,天然携带 cookies 与登录态,无需模拟或维护独立会话
2. 反爬鲁棒性:GUI 交互作为兜底策略,真实鼠标点击、滚动行为难以被识别为非人类
3. 精细控制能力:可操控视频播放进度、提取 Shadow DOM 内容、处理懒加载、穿透 iframe 边界
4. 并行效率:子 Agent 分治策略将多目标调研耗时从线性降至约等于单任务时长
5. 环境友好:后台 tab 操作,不干扰用户现有浏览会话,自动清理痕迹
潜在局限
- 前置依赖:要求用户安装 Node.js 22+,并在 Chrome 中手动开启远程调试权限
- 平台风险:短时间内密集打开页面可能触发目标站点风控
- 信息损耗:Jina 预处理虽省 token 但可能丢失非文章结构页面的关键数据
- 经验依赖:特定站点的反爬策略需积累 site-patterns 经验,新站点需探索验证
- 非 headless:依赖用户本地浏览器,无法云端部署运行
适合人群
- 需要处理登录墙、动态渲染、复杂交互的自动化任务
- 研究小红书、微信公众号等静态抓取无效的平台内容
- 视频内容分析、需要精准帧采样的场景
- 多源并行调研,追求效率与上下文隔离的研究任务
- 重视数据真实性、优先获取一手来源的信息核实工作
常规风险
| 风险类型 | 说明 |
|---------|------|
| 隐私暴露 | 继承用户登录态意味着操作发生在用户身份下,可能产生行为记录 |
| 账号安全 | 自动化操作若触发平台风控,可能导致账号受限或封禁 |
| 数据一致性 | 页面提示"内容不存在"可能源于访问方式问题而非真实缺失,需交叉验证 |
| 依赖稳定性 | Node 版本、Chrome CDP 端口、Proxy 连接任一环异常则无法启动 |
| token 消耗 | 动态页面大量 DOM 操作可能产生远超静态抓取的上下文开销 |