Web Scraping

核心功能与用法

该技能提供了一套完整的网页数据提取解决方案，采用"轻量优先"的策略：对静态HTML页面使用 web_fetch 快速抓取；对动态加载、需要交互（点击、筛选、无限滚动、分页）或登录态的站点，则启用浏览器自动化流程。典型工作流包括：识别目标字段→单页测试→选择提取方式→标准化输出→多页序列化请求→去重→结果持久化。

显著优点

• 双模式灵活切换：静态抓取高效低耗，浏览器自动化覆盖复杂场景
• 结构化输出规范：优先输出JSON数组、CSV或简洁摘要，字段命名清晰
• 可靠性设计：禁止虚构字段、自动降级切换源、大型任务支持断点续存
• 资源管理：显式关闭浏览器标签页、工作区文件命名规范

潜在局限与风险

• 反爬机制：部分站点可能封禁IP或返回验证码，需人工介入或切换源
• 动态内容依赖：过度依赖DOM结构稳定性，页面改版可能导致提取失效
• 性能边界：大规模爬取需主动控制请求频率，未内置自动限速机制
• 登录态安全：涉及敏感站点的会话管理需用户自行评估泄露风险

适合人群

数据分析师、市场调研人员、竞品监控从业者、研究者，以及需要将非结构化网页内容转化为可用数据集的任何用户。特别适合处理招聘列表、商品目录、新闻聚合、学术论文库等场景。

常规风险提示

• 严格遵守目标网站的 robots.txt 与服务条款
• 避免高频请求对源站造成负载压力
• 敏感数据采集需确认合法授权与隐私合规

核心用法

Web Scraping Skill 是一套网页数据提取方法论指南，通过分层策略实现可靠的数据采集：

双轨提取策略

• web_fetch：适用于静态HTML页面，直接提取可读文本内容
• browser 自动化：应对动态渲染、登录态、分页、无限滚动、筛选交互等复杂场景

标准工作流程
1. 明确目标站点与字段需求
2. 单页测试验证可行性
3. 选择提取方式（静态/动态）
4. 规范化输出为稳定Schema
5. 多页采集时串行请求、避免高频并发
6. 按URL或稳定ID去重
7. 大规模任务持久化至工作区

浏览器采集模式
打开→快照→必要交互（搜索/筛选/翻页）→状态变更后重快照→精准提取→关闭标签页

显著优点

| 优势 | 说明 |

|------|------|

| **方法论完备** | 覆盖从简单静态页到复杂动态站的全场景采集策略 |

| **工具原生集成** | 直接调用 Claude Code 内置 `web_fetch` 与 `browser` 工具，无外部依赖 |

| **可靠性设计** | 内置去重、断点续传、字段完整性校验、反封锁应对机制 |

| **输出标准化** | 推荐JSON/CSV/TSV格式，附带明确的字段命名规范 |

| **资源管理规范** | 强制要求关闭标签页、合理命名文件、避免密集写入 |

潜在局限

1. 执行层抽象：Skill本身为纯文档，实际网络请求由底层工具执行，对工具行为无直接控制
2. 反爬策略依赖：目标站点的IP封禁、CAPTCHA、JS挑战等需依赖底层工具的应对能力
3. 规模化限制：建议串行请求，大规模并行采集效率受限
4. 动态内容时效：依赖快照时机，某些异步加载内容可能捕获不完整

适合人群

• 需要快速提取网页结构化数据的分析师、研究员
• 构建数据集、价格监控、舆情跟踪的自动化工作流用户
• 具备基础DOM理解，能识别目标字段XPath/CSS选择器的使用者

常规风险

| 风险类型 | 说明 | 缓解措施 |

|----------|------|----------|

| 站点封禁 | 高频请求触发反爬 | 遵循串行请求、合理延迟、失败切换源 |

| 数据一致性 | 页面结构变更导致字段缺失 | 单页测试先行、显式字段校验、不虚构缺失字段 |

| 隐私合规 | 采集个人信息违反GDPR/CCPA | 仅采集公开数据、避免登录态采集敏感内容 |

| 服务可用性 | 目标站点下线或改版 | 多源验证、异常报告替代静默失败 |

安全认证

经 CLS-Certify v2.1.0 全维度扫描：S+ 级（100分）

• 纯Markdown文档，零可执行代码
• 零第三方依赖，零外部API调用
• T1可信来源（Anthropic官方）
• 完全符合GDPR/CCPA/数据最小化原则