核心用法
WrynAI Web Crawling Skill 基于官方 Python SDK 构建，提供六大使用模式：基础网站爬取、文档定向爬取、搜索+爬取流水线、单页内容提取、带重试机制的健壮爬取、以及 JavaScript 密集型 SPA 站点爬取。API 采用硬限制设计（单次最多 10 页、深度 3 层），支持两种渲染引擎（SIMPLE 静态 / STEALTH_MODE 浏览器），并内置智能列表提取、截图捕获等高级功能。
显著优点
1. 多模态内容提取：原生支持 text/markdown/structured/links/title 五种输出格式，结构化数据包含层级标题、内外链标记等元信息
2. 企业级健壮性：内置 RateLimitError、TimeoutError、ServerError 等细粒度异常体系，提供指数退避重试策略与自动资源清理
3. JavaScript 友好：STEALTH_MODE 引擎可渲染 React/Vue/Angular 应用，解决现代 SPA 的内容不可见问题
4. 精准 URL 过滤：include_patterns / exclude_patterns 支持正则风格路径匹配，适合文档站、博客、后台页面的定向抓取
5. 搜索联动能力：内置 SERP 数据解析，可直接将搜索结果转化为爬取任务，实现「搜索-采集-分析」一体化
潜在缺点与局限
1. 硬性规模限制：单次爬取上限 10 页、深度 3 层，大规模站点需多次调用并自行维护 URL 队列
2. 成本与速率：API 调用存在速率限制，高频场景需实现客户端节流与队列管理
3. robots.txt 合规：SDK 自动遵守 robots.txt，部分敏感或受限页面无法强制抓取
4. 动态内容延迟：部分异步加载内容即使在 STEALTH_MODE 下也可能因超时设置不当而遗漏
5. 商业服务依赖：完全依赖 WrynAI 第三方服务，存在 API 变更、价格调整或可用性风险
适合人群
- 竞品分析师：需快速提取对手网站结构与内容
- 技术写作者：批量抓取文档站生成离线知识库
- SEO 从业者：采集 SERP 结果进行排名与内容分析
- 产品经理：监控竞品功能更新与定价变动
- 数据工程师：构建轻量级外部数据 ETL 管道
常规风险
| 风险类型 | 说明 |
|---------|------|
| API 密钥泄露 | `WRYNAI_API_KEY` 需妥善保管，避免硬编码提交至版本控制 |
| 目标站点封禁 | 高频爬取可能触发目标站点防护，建议配合 rate limiting 与代理策略 |
| 法律合规 | 抓取受版权保护内容或绕过反爬机制可能违反 CFAA、GDPR 等法规 |
| 数据准确性 | JavaScript 渲染结果可能因页面状态差异而不一致，需验证关键字段 |
| 服务中断 | 第三方 API 故障将直接影响业务连续性，建议设计降级方案 |