AnyCrawl-API

AnyCrawl 是一个专为 AI 工作流设计的网页数据抓取与爬取 API，集成于 OpenClaw 网关，提供从单页抓取到全站爬取的完整解决方案。

核心用法

该技能包含七大功能模块：

• anycrawl_scrape: 单页抓取核心，支持三种引擎选择。cheerio 适用于静态 HTML 极速解析；playwright 和 puppeteer 用于渲染 JavaScript 动态内容如 SPA 单页应用。输出格式灵活，支持 markdown、HTML、纯文本、JSON 结构化数据及截图。
• anycrawl_search: 基于 Google 的搜索接口，支持多语言、分页、安全搜索过滤，并可配置自动抓取搜索结果详情页。
• anycrawl_crawl_start/status/results/cancel: 完整的异步网站爬取工作流，支持深度控制、路径包含/排除规则、同源策略配置，适合构建知识库或训练数据集。
• anycrawl_search_and_scrape: 搜索+抓取的组合快捷操作，一步获取研究素材。

显著优点

1. 引擎策略灵活：明确区分静态与动态渲染场景，避免资源浪费
2. LLM 原生设计：直接输出 markdown 和结构化 JSON，省去清洗环节
3. 异步爬取架构：大站爬取不阻塞，支持任务状态监控和取消
4. 精细化路径控制：include_paths/exclude_paths/scrape_paths 三级过滤，精准捕获目标内容
5. 多语言搜索支持：内置本地化搜索参数，适合跨境信息搜集

潜在缺点与局限性

• 商业依赖：需付费 API 密钥，存在 402 支付失败风险
• 爬取深度与成本权衡：max_depth 和 limit 配置不当易导致积分快速消耗
• 24 小时任务过期：长周期爬取需及时获取结果
• 反爬机制对抗有限：未明确提及 IP 轮换、验证码破解等高级反爬能力
• 引擎选择门槛：新手可能误判页面动态性，选错引擎导致数据缺失

适合人群

• AI 应用开发者：需要为 RAG 系统、智能客服、研究助手提供实时网页数据源
• 数据分析师：进行竞品监控、价格追踪、舆情收集
• 内容聚合平台：自动化构建行业知识库
• 学术研究者：快速获取多语言文献和网络资源

常规风险

• 合规风险：大规模爬取可能违反目标网站的 robots.txt 或服务条款
• 数据质量波动：动态网站结构变更会导致抓取规则失效
• API 稳定性依赖：服务商故障将直接影响下游 AI 应用
• 隐私敏感：抓取用户生成内容时需考虑 GDPR 等数据保护法规
• 成本控制：异步爬取任务的积分消耗需密切监控，避免预算超支

核心用法

AnyCrawl 是一个专为 LLM 工作流设计的网页数据提取工具，提供三大核心能力：单页抓取(anycrawl_scrape)、搜索引擎集成(anycrawl_search) 和 全站爬取(anycrawl_crawl_start)。

引擎选择策略：cheerio 用于静态 HTML（速度最快），playwright/puppeteer 用于 SPA 和动态渲染页面。支持输出 Markdown、HTML、纯文本、结构化 JSON 甚至截图，满足 RAG 知识库、竞品监控、价格追踪等多种场景。

典型工作流：
1. 搜索 → 自动抓取 → LLM 摘要（anycrawl_search_and_scrape 一键完成）
2. 启动异步爬取任务 → 轮询状态 → 批量获取结果
3. JSON Schema 提取：直接按定义的结构返回产品信息、新闻要素等

显著优点

• 零依赖架构：纯原生 JavaScript 实现，消除供应链攻击风险
• 灵活的渲染策略：三档引擎覆盖从静态博客到复杂 Web App 的全场景
• LLM 原生输出：Markdown 格式直接喂给大模型，JSON Schema 支持结构化提取
• 异步爬取架构：支持大规模站点爬取（最高 200 页/任务），任务状态可查询可取消
• 安全实践优秀：API 密钥强制环境变量读取，HTTPS 全链路加密，无敏感信息硬编码

潜在局限

• 外部服务依赖：功能完全依赖 AnyCrawl 商业 API，服务中断则不可用；需自行承担数据隐私和合规风险
• T3 来源可信度：社区/个人开发者维护，无开源仓库链接，长期维护和审计透明度有限
• 成本敏感：按 credits 计费，大规模爬取可能产生较高费用；免费额度未明确说明
• 爬取深度限制：最大深度 10、单任务上限 200 页，超大规模站点需分片策略

适合人群

• 需要快速构建知识库的 RAG 开发者
• 竞品监控、价格追踪的电商运营人员
• 研究舆情、收集公开数据的分析师
• 不愿维护自建爬虫基础设施的小团队

常规风险

• 服务可用性：第三方 API 故障将直接导致功能失效，建议生产环境配置降级方案
• 数据合规：抓取内容需遵守目标网站 robots.txt 和当地法规（如 GDPR），用户自行承担责任
• Rate Limiting：未明确披露具体阈值，高频调用可能触发 429 错误
• 代码可追溯性：无公开源码仓库，建议定期重新评估 Skill 安全性