核心功能
Web Scraper Skill 是一款专注于网页数据抓取的实用工具，提供从基础文本提取到复杂结构化数据抓取的完整能力。核心功能涵盖四大维度：数据提取（文本、表格、图片/媒体）、多格式输出（JSON、CSV、Markdown、SQL）、智能爬取特性（速率限制、缓存、重试机制、代理支持）以及伦理合规保障（robots.txt 尊重、用户代理轮换、法律合规）。
显著优点
- 多场景覆盖：从单页数据提取到多层级网站爬取，支持深度配置
- 输出灵活：原生支持开发者友好的 JSON 及分析师常用的 CSV，同时提供 Markdown 和 SQL 插入选项
- 稳定性设计：内置速率限制、缓存与重试逻辑，有效应对网络波动和目标站点的反爬策略
- 合规优先：明确的伦理框架，强调 robots.txt 遵守和服务器负载控制，降低法律风险
潜在局限
- 依赖目标网站的结构稳定性，DOM 变更可能导致提取规则失效
- 复杂动态渲染页面（SPA、重度 JavaScript）可能需要额外配置或受限支持
- 反爬机制强化的站点仍可能触发封禁，成功率非绝对保障
- 法律边界因司法管辖区而异，用户需自行承担合规责任
适用人群
数据分析师、市场研究人员、竞品监控团队、开发者及需要批量获取公开网页数据的业务人员。尤其适合重视合规底线、需要稳定输出格式的中高频爬取场景。
风险提醒
尽管内置伦理机制，但高频爬取仍可能对目标服务器造成压力，建议在商业使用前咨询法律意见；抓取敏感或个人数据可能违反 GDPR/CCPA 等隐私法规。