decodo-scraper

🕸️ 企业级网页抓取与搜索利器

Decodo官方出品的网页抓取技能,通过API实现Google搜索与任意网页内容提取,输出结构化JSON或Markdown,助力数据获取与内容分析。

收藏
6.6k
安装
2.1k
版本
v1.1.0
CLS 安全性认证2026-06-04
点击查看完整报告 >

使用说明

核心用法

decodo-scraper 是一款基于 Decodo Web Scraping API 的 OpenClaw 技能,提供两大核心功能:Google 搜索与网页内容抓取。用户通过命令行工具调用 tools/scrape.py 脚本,指定 --target 参数选择操作类型——google_search 用于执行搜索查询,,universal 用于抓取指定 URL。搜索功能返回 JSON 格式的结构化结果(包含自然搜索结果、AI 概览、相关问题等),而网页抓取则输出清洗后的 Markdown 格式内容,显著降低 LLM 处理的 token 消耗。认证方面,用户需在环境变量或 .env 文件中配置 DECODO_AUTH_TOKEN,该令牌从 Decodo 控制台获取。

显著优点

该技能的最大优势在于其官方背书与可靠性。作为 Decodo(前身为 Smartproxy)官方维护的工具,它直接对接企业级网页抓取基础设施,解决了自建爬虫面临的反爬机制、IP 封禁、验证码拦截等痛点。输出格式针对 AI 场景优化——Markdown 格式比原始 HTML 更干净,JSON 搜索结果便于程序化处理。此外,技能支持地理位置(--geo)和语言(--locale)参数,满足本地化搜索需求。代码结构极简,仅依赖 requestspython-dotenv 两个主流库,部署门槛低。

潜在缺点与局限性

首先,成本门槛不可忽视:Decodo API 为付费服务,用户需自行承担调用费用,高频使用场景下成本可能累积。其次,功能相对单一,仅覆盖搜索与基础抓取,不支持复杂交互(如点击、滚动、表单提交)或 JavaScript 动态渲染页面的深度抓取。输出格式固定,无法自定义提取规则(如 CSS 选择器、XPath),灵活性逊于专业爬虫框架。此外,网络依赖性强,API 服务中断将直接导致技能失效,且当前缺乏内置重试机制,偶发请求失败需用户自行处理。

适合的目标群体

该技能特别适合以下用户:需要快速获取网络数据的 AI 应用开发者、构建 RAG 知识库的内容聚合场景、进行竞品调研或舆情监控的市场运营人员,以及不愿投入爬虫基础设施建设的中小团队。对于学术研究者,它提供了便捷的文献检索与网页存档途径。然而,需要大规模分布式抓取、复杂页面交互或零成本方案的用户,可能需要评估替代方案。

使用风险

常规风险主要包括:API 配额与费用管理——用户需监控调用量避免超额;数据合规性——抓取内容需遵守目标网站的 robots.txt 及版权法规;Token 安全——DECODO_AUTH_TOKEN 泄露可能导致账户被盗用,建议配合密钥管理服务使用;网络稳定性——跨境 API 调用可能受网络波动影响响应速度。

安全解读

核心用法

Decodo Scraper 是一款基于 Decodo Web Scraping API 的 OpenClaw Skill,提供两大核心功能:Google 搜索网页内容抓取。用户通过环境变量配置 DECODO_AUTH_TOKEN 认证后,即可在命令行执行结构化搜索或提取任意网页的 Markdown 格式内容。

搜索功能 (--target google_search) 返回 JSON 数组,包含自然搜索结果、AI 概述、相关问题等结构化数据,支持 --geo--locale 参数定制地区与语言。网页抓取 (--target universal) 则将目标页面转换为干净易读的 Markdown,显著降低 LLM 处理时的 token 消耗。

显著优点

  • 来源权威:来自 OpenClaw 官方技能注册表 (T2),维护者为 Decodo 官方团队,代码透明托管于 GitHub
  • 安全合规:通过 CLS S 级安全认证,无危险函数、无硬编码密钥,依赖干净(仅 requests + python-dotenv)
  • 输出友好:默认 Markdown 格式,便于 LLM 直接消费,避免原始 HTML 的噪音干扰
  • 网络规范:仅访问 Decodo 官方 API (scraper-api.decodo.com),全程 HTTPS 加密传输
  • 隐私保护:认证凭证通过环境变量获取,符合 GDPR 数据最小化原则

潜在缺点与局限性

  • 外部依赖:需持有 Decodo 账户及 API Token,存在服务成本与可用性依赖
  • 速率限制:受 Decodo API 配额约束,高频调用可能触发限流
  • 内容限制:无法抓取需登录、反爬严格或动态渲染复杂的页面(默认返回静态内容)
  • 地域差异:Google 搜索结果受 IP 地理位置影响,可能与用户实际所在区域不一致

适合人群

  • 研究人员、数据分析师需批量获取搜索摘要或网页正文
  • AI 应用开发者构建 RAG 系统,需干净、结构化的网络数据源
  • 自动化工作流用户,希望将网络信息采集集成到 CLI 或 CI/CD 管道

常规风险

  • 凭证泄露风险:若将 Token 硬编码于脚本或日志中,可能导致 API 配额被盗用
  • 数据合规风险:抓取内容可能受版权保护,需遵守目标网站的 robots.txt 及服务条款
  • API 可用性风险:Decodo 服务中断将直接影响 Skill 功能

decodo-scraper 内容

tools文件夹
手动下载zip · 4.2 kB
scrape.pytext/plain
请选择文件