核心功能与用法
Web Scraping 是一套完整的网页数据采集工具集，提供三种主要能力：
单页抓取（`scrape_url`）
- 支持三种输出格式：
text（纯文本，默认）、markdown（保留结构）、html（原始代码） - 自动提取元数据：标题、描述、链接数量等
- 适用于内容提取、文档归档、信息监控场景
链接发现（`extract_links`）
- 抓取页面并提取全部链接，标注内外链类型
- 支持正则过滤（如
\.pdf$筛选PDF文件） - 自动去重并解析为绝对URL
多页并行研究（`scrape_multiple`）
- 单次最多并发处理10个URL
- 采用
Promise.allSettled机制，单点失败不影响整体任务 - 适合竞品分析、批量资料收集、价格监控等多源对比场景
显著优势
1. 格式灵活性：三种输出格式覆盖从纯内容提取到结构保留的不同需求
2. 工程友好：内置频率限制（同域名5次/分钟）、自动去重、错误隔离
3. 集成能力：可与 store_deliverable 联动，将抓取结果存为交付物证据
4. 规模可控：单页5MB上限防止内存溢出，10URL并发平衡效率与稳定性
潜在局限
- 反爬依赖外部：未内置IP轮换、验证码破解、浏览器指纹模拟等高级反爬机制
- 动态内容限制：纯HTTP抓取模式，对重度JavaScript渲染的SPA应用支持有限
- 合规责任主体：工具本身不提供 robots.txt 解析或法律合规检查，需用户自行评估
适合人群
- 市场研究员、数据分析师进行批量信息收集
- 开发者构建内容监控、价格追踪、竞品情报系统
- 内容运营进行资料聚合与文档归档
常规风险提示
| 风险类型 | 说明 |
|---------|------|
| 法律合规 | 需遵守目标网站 ToS 及 robots.txt，注意数据版权与隐私法规（GDPR等） |
| 频率控制 | 虽已内置基础限速，高并发场景仍需额外配置延迟与重试策略 |
| 数据质量 | 依赖页面结构稳定性，需建立校验机制应对布局变更 |
| 存储成本 | 批量抓取时注意 5MB/页 限制及后续存储开销 |