clawpod

🦀 全球住宅代理智能网页抓取

🥥95总安装量 20评分人数 27
100% 的用户推荐

基于 Vercel Labs agent-browser 的住宅代理网页抓取工具,通过 Massive 网络实现全球地理定位、粘性会话和真实浏览器指纹,解决反爬限制与 JS 渲染难题。

B

存在边界风险,建议在隔离环境中验证

  • 来自社区或个人来源,建议先隔离验证
  • ✅ 无动态代码加载或危险系统命令,代码结构透明简单
  • ✅ 核心依赖 agent-browser 来自 Vercel Labs 官方(T1 来源)
  • ⚠️ 所有网络流量经过 Massive 第三方代理,HTTP 内容对服务商可见
  • ⚠️ 需用户提供代理凭据,存在凭证管理责任
  • ⚠️ 自动执行目标页面 JavaScript,访问不可信站点存在潜在风险

使用说明

核心用法

ClawPod 是一个面向 AI Agent 的网页浏览代理工具,核心工作流分为四步:构建代理 URL(需对用户名进行 URL 编码)、通过 agent-browser --proxy 启动浏览器、执行页面操作(获取文本/截图/快照)、最后关闭会话。支持精细化的地理定位(国家/城市/州/邮编)、粘性会话保持(1-240 分钟 TTL)以及设备类型定向(移动端/桌面端/电视端)。

显著优点

1. 真实浏览器环境:基于 Playwright/Chromium,自动执行 JavaScript,完美应对 SPA 单页应用,提供真实浏览器指纹大幅降低反爬检测率。
2. 住宅代理网络:通过 Massive 的千万级住宅 IP 池,有效绕过 IP 封禁和速率限制,支持全球 190+ 国家精准定位。

3. 会话管理能力:粘性会话功能确保多页面爬取使用同一出口 IP,适合需要登录态保持的复杂爬取场景。

4. 结构化数据提取snapshot -i 命令可输出可访问性树,便于 AI 直接解析页面结构和交互元素。

潜在缺点与局限性

1. 启动延迟:首次 open 需 3-8 秒启动 Chromium,高频短任务场景效率受限。
2. 代理配置刚性--proxy 为启动时参数,切换代理配置必须关闭重开,无法动态调整。

3. 单实例限制:同一时间仅能运行一个浏览器实例,多任务需串行处理。

4. 地理精度权衡:过于精确的邮编+城市组合可能导致匹配失败,需放宽条件重试。

5. 成本依赖:需 Massive 付费账户,流量成本高于普通数据中心代理。

适合的目标群体

  • 需要突破地理限制的市场调研与竞品分析团队
  • 处理 JavaScript 密集型站点的数据工程师
  • 需要真实用户环境进行广告验证的投放运营
  • 构建多地区价格监控系统的电商开发者
  • 学术研究中需要访问区域限定内容的科研人员

使用风险

1. 第三方数据可见性:所有流量经过 Massive 代理服务器,HTTP 流量对代理方可见,HTTPS 虽加密但目标域名仍可被记录。
2. JavaScript 执行风险:自动渲染会执行页面脚本,访问恶意站点存在潜在安全威胁。

3. 服务可用性依赖:Massive 代理网络的稳定性直接影响任务成功率,需设计重试机制。

4. 凭证泄露风险:代理密码通过环境变量传递,多用户环境需严格隔离权限。

5. 合规边界:住宅代理使用需遵守目标网站的 robots.txt 及服务条款,避免法律风险。

clawpod 内容

手动下载zip · 3.8 kB
SKILL.mdtext/markdown
请选择文件