核心用法
Decodo Scraper OpenClaw Skill 提供两种主要功能:Google 搜索与网页内容抓取。用户通过命令行调用 python tools/scrape.py 脚本,指定 --target 参数选择服务模式,并配合 --query 或 --url 完成操作。
- 搜索功能(
google_search):返回结构化 JSON 数组,包含自然搜索结果、AI 概述、相关问题等元数据,支持--geo和--locale进行地域与语言过滤。 - 网页抓取(
universal):将任意 URL 转换为 Markdown 格式输出,优化 LLM 可读性并降低 token 消耗。
显著优点
1. 输出格式友好:原生支持 Markdown,减少后期清洗工作
2. 代理基础设施:依托 Decodo 成熟的住宅/数据中心代理网络,规避反爬机制
3. 地域灵活性:支持地理位置模拟,适用于本地化 SEO 研究与竞品分析
4. 集成便捷:环境变量认证,符合 Twelve-Factor 应用规范
潜在缺点与局限性
- 商业成本:Decodo 为付费服务,存在 API 调用配额与流量计费
- 单点依赖:认证令牌失效或服务商故障将直接导致技能不可用
- 合规风险:大规模抓取需遵守目标网站的 robots.txt 及当地数据法规
- 输出可控性有限:Markdown 转换质量取决于目标页面结构,复杂动态渲染页面可能信息丢失
适合人群
数据分析师、市场研究员、SEO 从业者、需要构建知识库的 AI 应用开发者,以及进行学术网络数据采集的研究人员。
常规风险
- 隐私合规:抓取含个人信息页面可能触发 GDPR、CCPA 等法规
- 服务条款冲突:违反目标网站 ToS 可能导致 IP 封禁或法律追责
- 令牌泄露:
DECODO_AUTH_TOKEN若暴露在日志或版本控制中会造成未授权消费 - 速率限制:高频调用易触发 Decodo 侧限流,需配合指数退避策略