Web Access Clawhub

🌐 真浏览器自动化,一手信息直达

通过 CDP 直连用户 Chrome 实现真实浏览器自动化,支持登录态继承、反爬绕过与复杂交互,兼顾静态抓取效率与动态渲染可靠性。

收藏
9.3k
安装
4.5k
版本
1.0.0
CLS 安全性认证2026-07-12
点击查看完整报告 >

使用说明

核心用法

web-access 是一套面向真实网页环境的通用联网技能,通过 Chrome DevTools Protocol (CDP) 直连用户日常浏览器实例,实现从简单静态抓取到复杂动态交互的全场景覆盖。

三层工具架构:

  • 轻量层:web_search 用于发现信息源;web_fetch 定向提取页面可读内容;curl 获取原始 HTML/结构化数据;可选 jina.ai 预处理大幅节省 token
  • 浏览器层:CDP 模式为核心能力,支持登录态继承、反爬绕过、JS 渲染、自由导航、媒体提取、视频帧采样等复杂操作
  • 分治层:多子 Agent 并行调研,独立 tab 隔离,结果汇总,保护主上下文

关键操作模式:

  • 用 /eval 读写 DOM、提取数据、操控元素
  • 用 /click 或 /clickAt 触发交互,前者快速后者模拟真实手势
  • 用 /new 创建后台 tab,任务结束 /close 清理
  • 视频内容通过操控 <video> 元素 + /screenshot 实现离散采样

显著优点

1. 真实浏览器环境:直连用户 Chrome,天然携带 cookies 与登录态,无需模拟或维护独立会话
2. 反爬鲁棒性:GUI 交互作为兜底策略,真实鼠标点击、滚动行为难以被识别为非人类

3. 精细控制能力:可操控视频播放进度、提取 Shadow DOM 内容、处理懒加载、穿透 iframe 边界

4. 并行效率:子 Agent 分治策略将多目标调研耗时从线性降至约等于单任务时长

5. 环境友好:后台 tab 操作,不干扰用户现有浏览会话,自动清理痕迹

潜在局限

  • 前置依赖:要求用户安装 Node.js 22+,并在 Chrome 中手动开启远程调试权限
  • 平台风险:短时间内密集打开页面可能触发目标站点风控
  • 信息损耗:Jina 预处理虽省 token 但可能丢失非文章结构页面的关键数据
  • 经验依赖:特定站点的反爬策略需积累 site-patterns 经验,新站点需探索验证
  • 非 headless:依赖用户本地浏览器,无法云端部署运行

适合人群

  • 需要处理登录墙、动态渲染、复杂交互的自动化任务
  • 研究小红书、微信公众号等静态抓取无效的平台内容
  • 视频内容分析、需要精准帧采样的场景
  • 多源并行调研,追求效率与上下文隔离的研究任务
  • 重视数据真实性、优先获取一手来源的信息核实工作

常规风险

| 风险类型 | 说明 |
|---------|------|
| 隐私暴露 | 继承用户登录态意味着操作发生在用户身份下,可能产生行为记录 |
| 账号安全 | 自动化操作若触发平台风控,可能导致账号受限或封禁 |
| 数据一致性 | 页面提示"内容不存在"可能源于访问方式问题而非真实缺失,需交叉验证 |
| 依赖稳定性 | Node 版本、Chrome CDP 端口、Proxy 连接任一环异常则无法启动 |
| token 消耗 | 动态页面大量 DOM 操作可能产生远超静态抓取的上下文开销 |

安全解读

核心用法

web-access 是一套基于 Chrome DevTools Protocol (CDP) 的网页自动化工具,通过本地 HTTP Proxy 直连用户日常 Chrome 浏览器。主要能力包括:

三层信息获取策略:轻量搜索用 web_search 发现信息来源;定向抓取用 web_fetch 提取页面正文;复杂场景用 浏览器 CDP 处理登录态、反爬限制和动态内容。配合可选的 Jina 预处理层(r.jina.ai/)节省 token。

浏览器自动化:通过 /eval 执行 JavaScript 操作 DOM,通过 /click、/scroll、/screenshot 模拟用户行为,通过 /new 创建后台标签页并行处理多任务。所有操作在用户已有 Chrome 实例中进行,天然携带登录态,无需重复认证。

智能任务执行:采用"像人一样思考"的浏览哲学——先明确成功标准,选择最可能直达的路径,边执行边校验,根据页面反馈动态调整策略,避免在无效方式上反复重试。

显著优点

  • 免登录优势:复用用户日常浏览器,直接访问需登录的内容(知乎、小红书后台、企业系统等)
  • 反爬 bypass:真实 Chrome 渲染,GUI 交互模拟真人行为,可处理微信公众号、小红书等反爬严格平台
  • 视频处理能力:可操控 <video> 元素 seek 到任意时间点并截图采帧,支持视频内容分析
  • 并行效率:多子 Agent 分治独立任务,各用独立标签页并行执行,总耗时接近单任务时长
  • 零依赖风险:纯 Node.js 原生实现,无第三方 npm 包,杜绝供应链攻击
  • 本地隔离:所有通信限制在 localhost,无外部数据外泄

潜在缺点与局限性

  • 环境依赖:必须安装 Node.js 22+,Chrome 需开启 remote-debugging 端口,首次配置有门槛
  • 平台限制:仅支持桌面 Chrome/Chromium,不兼容 Safari/Firefox/移动端浏览器
  • 性能开销:启动 Proxy、创建标签页、页面渲染均有延迟,不适合高频轻量查询
  • 风控触发:短时间内密集打开大量页面(批量 /new)可能触发网站反爬
  • 资源占用:持续运行的 Proxy 和后台标签页消耗内存,需手动清理
  • 构造 URL 陷阱:手动构造的 URL 可能缺失平台隐式参数,导致访问异常

适合人群

  • 需要获取登录后内容的用户(个人账单、企业后台、付费内容)
  • 处理反爬严格平台的内容创作者(微信公众号文章、小红书笔记采集)
  • 需要视频帧分析的研究者(通过截图采样分析视频内容)
  • 并行调研多来源的信息整合者(竞品分析、多站点信息核实)
  • 具备一定技术背景、能排查环境问题的用户

常规风险

| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 执行任意代码 | `/eval` 端点执行用户提供的 JavaScript,理论上可访问页面所有内容 | 仅在受信任页面使用,避免在含敏感数据的页面执行外部输入代码 |
| 标签页管理 | 异常中断可能导致后台标签页未关闭 | 任务结束务必调用 `/close`,定期检查 `chrome://inspect` |
| 网站风控 | 高频自动化行为可能触发平台限制 | 控制请求频率,优先使用 GUI 交互而非程序化方式 |
| 配置暴露 | Chrome remote-debugging 端口若被其他程序占用可能冲突 | 使用非标准端口或确保端口独占 |
| 日志残留 | Proxy 日志可能包含访问 URL 记录 | 定期清理 `/tmp/cdp-proxy.log` |

Web Access Clawhub 内容

references文件夹
scripts文件夹
手动下载zip · 19.1 kB
cdp-api.mdtext/markdown
请选择文件