核心用法
Decodo Scraper 是一款基于 Decodo 官方 Web Scraping API 的 OpenClaw 技能,提供两大核心功能:
1. Google 搜索:通过 --target google_search 调用,支持 --query 参数输入搜索关键词,可选 --geo 和 --locale 指定地理位置与语言,输出为结构化 JSON 数组,包含自然搜索结果、AI 概述、相关问题等。
2. 网页抓取:通过 --target universal 调用,使用 --url 参数指定目标网页,API 默认返回 Markdown 格式内容,便于 LLM 处理且降低 Token 消耗。
认证方式为 Basic Auth,需从 Decodo Dashboard → Scraping APIs 获取 DECODO_AUTH_TOKEN 并配置为环境变量或写入 .env 文件。
显著优点
- 官方背书:直接调用 Decodo 官方 API,稳定性与数据质量有保障
- 双模输出:搜索返回结构化 JSON,抓取返回干净 Markdown,适配不同场景
- 地理/语言支持:可模拟不同地区搜索结果,满足本地化需求
- LLM 友好:Markdown 输出减少噪声,降低后续处理成本
- 错误规范:失败时向 stderr 输出 JSON 错误信息并返回退出码 1,便于程序集成
潜在缺点与局限性
- 付费依赖:Decodo 为商业服务,需订阅套餐,存在用量成本
- Token 管理:需手动获取并保管 API Token,增加配置复杂度
- 功能边界:仅支持 Google 搜索与通用网页抓取,不支持其他搜索引擎或复杂交互页面
- 网络依赖:完全依赖 Decodo 服务端,本地无缓存或离线能力
- 错误透明度:文档未详述速率限制、IP 封禁等具体错误码处理
适合人群
- 需要程序化获取 Google 搜索结果的开发者与数据分析师
- 构建 RAG/知识库系统、需要批量抓取网页内容的 AI 应用开发者
- 希望避免自建代理池、专注于业务逻辑的工程团队
- 对数据清洗有需求、偏好 Markdown 而非原始 HTML 的内容处理者
常规风险
- 凭证泄露:
DECODO_AUTH_TOKEN若不慎提交至版本控制,可能导致账户被盗用或额度耗尽 - 合规风险:大规模抓取需遵守目标网站的 robots.txt 及服务条款,避免法律纠纷
- 成本失控:未设置用量上限可能导致 API 调用费用超预期
- 数据时效性:搜索/抓取结果存在缓存延迟,非实时数据