Decodo Scraper

🕸️ 官方 API 驱动的智能网页采集

Decodo 官方 Web 爬虫 API 技能,支持 Google 搜索与任意网页抓取,输出结构化 JSON 或 Markdown,需配置 Basic Auth Token。

收藏
8.3k
安装
2.3k
版本
0.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Decodo Scraper 是一款基于 Decodo 官方 Web Scraping API 的 OpenClaw 技能,提供两大核心功能:

1. Google 搜索:通过 --target google_search 调用,支持 --query 参数输入搜索关键词,可选 --geo--locale 指定地理位置与语言,输出为结构化 JSON 数组,包含自然搜索结果、AI 概述、相关问题等。

2. 网页抓取:通过 --target universal 调用,使用 --url 参数指定目标网页,API 默认返回 Markdown 格式内容,便于 LLM 处理且降低 Token 消耗。

认证方式为 Basic Auth,需从 Decodo Dashboard → Scraping APIs 获取 DECODO_AUTH_TOKEN 并配置为环境变量或写入 .env 文件。

显著优点

  • 官方背书:直接调用 Decodo 官方 API,稳定性与数据质量有保障
  • 双模输出:搜索返回结构化 JSON,抓取返回干净 Markdown,适配不同场景
  • 地理/语言支持:可模拟不同地区搜索结果,满足本地化需求
  • LLM 友好:Markdown 输出减少噪声,降低后续处理成本
  • 错误规范:失败时向 stderr 输出 JSON 错误信息并返回退出码 1,便于程序集成

潜在缺点与局限性

  • 付费依赖:Decodo 为商业服务,需订阅套餐,存在用量成本
  • Token 管理:需手动获取并保管 API Token,增加配置复杂度
  • 功能边界:仅支持 Google 搜索与通用网页抓取,不支持其他搜索引擎或复杂交互页面
  • 网络依赖:完全依赖 Decodo 服务端,本地无缓存或离线能力
  • 错误透明度:文档未详述速率限制、IP 封禁等具体错误码处理

适合人群

  • 需要程序化获取 Google 搜索结果的开发者与数据分析师
  • 构建 RAG/知识库系统、需要批量抓取网页内容的 AI 应用开发者
  • 希望避免自建代理池、专注于业务逻辑的工程团队
  • 对数据清洗有需求、偏好 Markdown 而非原始 HTML 的内容处理者

常规风险

  • 凭证泄露DECODO_AUTH_TOKEN 若不慎提交至版本控制,可能导致账户被盗用或额度耗尽
  • 合规风险:大规模抓取需遵守目标网站的 robots.txt 及服务条款,避免法律纠纷
  • 成本失控:未设置用量上限可能导致 API 调用费用超预期
  • 数据时效性:搜索/抓取结果存在缓存延迟,非实时数据

Decodo Scraper 内容

tools文件夹
手动下载zip · 4.2 kB
scrape.pytext/plain
请选择文件