核心用法
Crawl4AI Web Scraper 是一个专为本地部署设计的网页抓取技能，通过调用用户自托管的 Crawl4AI 实例实现全页面内容提取。该技能提供两种接入方式：通过 11234 端口的代理模式（返回简化内容，兼容 OpenWebUI）和 11235 端口的直连模式（返回完整数据包括 markdown、HTML、链接、媒体资源等）。用户可通过 Node.js 脚本直接调用，支持 --json 参数获取完整 JSON 响应。
显著优点
1. JavaScript 渲染能力：能够处理依赖前端框架的动态内容，相比传统静态抓取工具覆盖范围更广
2. 无使用限制：基于本地实例运行，不存在 API 配额或速率限制
3. 数据完整性：可提取页面全部元素，包括隐藏链接、媒体文件、表格结构等元数据
4. 架构灵活性：双端口设计满足不同场景需求，代理模式适合快速内容获取，直连模式适合深度数据挖掘
潜在缺点与局限性
- 部署门槛高：需要用户自行搭建并维护 Crawl4AI 本地服务，涉及 Docker/容器化技术知识
- 环境依赖：必须配置
CRAWL4AI_URL环境变量，且运行端需要 Node.js 环境 - 无内置故障处理：依赖外部服务可用性，若本地实例未启动或端口冲突将导致调用失败
- 安全责任转移：本地实例的安全配置（如访问控制、HTTPS）完全由用户自行承担
适合人群
- 需要高频、大批量网页抓取且希望规避 API 成本的技术用户
- 处理现代 SPA（单页应用）或重度 JavaScript 渲染站点的开发者
- 对数据隐私敏感、要求数据不出本地的企业或研究团队
- 已具备 Docker 容器化部署经验的 DevOps 或后端工程师
常规风险
- 本地服务暴露风险：若将 Crawl4AI 实例开放至公网且未配置
CRAWL4AI_KEY，可能成为未授权访问入口 - 资源消耗：本地运行无速率限制，过度并发可能导致目标网站封禁本地 IP
- 合规责任：抓取行为完全脱离平台监管，用户需自行确保遵守目标网站的 robots.txt 及数据保护法规（如 GDPR）