Decodo Scraper

🕷️ 智能网页抓取与搜索利器

集成 Decodo 网络抓取 API,支持 Google 搜索与任意网页 Markdown 提取,适用于数据收集与内容分析场景。

收藏
7.9k
安装
2.3k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Decodo Scraper OpenClaw Skill 提供两种主要功能:Google 搜索网页内容抓取。用户通过命令行调用 python tools/scrape.py 脚本,指定 --target 参数选择服务模式,并配合 --query--url 完成操作。

  • 搜索功能google_search):返回结构化 JSON 数组,包含自然搜索结果、AI 概述、相关问题等元数据,支持 --geo--locale 进行地域与语言过滤。
  • 网页抓取universal):将任意 URL 转换为 Markdown 格式输出,优化 LLM 可读性并降低 token 消耗。

显著优点

1. 输出格式友好:原生支持 Markdown,减少后期清洗工作
2. 代理基础设施:依托 Decodo 成熟的住宅/数据中心代理网络,规避反爬机制

3. 地域灵活性:支持地理位置模拟,适用于本地化 SEO 研究与竞品分析

4. 集成便捷:环境变量认证,符合 Twelve-Factor 应用规范

潜在缺点与局限性

  • 商业成本:Decodo 为付费服务,存在 API 调用配额与流量计费
  • 单点依赖:认证令牌失效或服务商故障将直接导致技能不可用
  • 合规风险:大规模抓取需遵守目标网站的 robots.txt 及当地数据法规
  • 输出可控性有限:Markdown 转换质量取决于目标页面结构,复杂动态渲染页面可能信息丢失

适合人群

数据分析师、市场研究员、SEO 从业者、需要构建知识库的 AI 应用开发者,以及进行学术网络数据采集的研究人员。

常规风险

  • 隐私合规:抓取含个人信息页面可能触发 GDPR、CCPA 等法规
  • 服务条款冲突:违反目标网站 ToS 可能导致 IP 封禁或法律追责
  • 令牌泄露DECODO_AUTH_TOKEN 若暴露在日志或版本控制中会造成未授权消费
  • 速率限制:高频调用易触发 Decodo 侧限流,需配合指数退避策略

Decodo Scraper 内容

tools文件夹
手动下载zip · 4.1 kB
scrape.pytext/plain
请选择文件