技能概述
本技能提供了一套系统化的网页数据采集工具选择策略，核心解决"何时用何种工具抓取何种数据"的决策问题。通过明确区分opencli（结构化API级抓取）与playwright-cli（浏览器级自动化）两种方案，帮助用户在不同平台特性与反爬机制下最大化抓取成功率和数据质量。
核心用法
技能采用决策树式工作流：
1. 优先评估平台适配性 — 小红书、知乎、微博、B站等社交媒体平台优先使用opencli，输出标准化JSON格式，包含作者、标题、互动数据、时间戳等完整字段
2. 兜底方案 — 京东、淘宝、1688、拼多多、抖音等复杂电商网站采用playwright-cli goto <URL>，复用已登录Chrome状态绕过反爬
3. 预执行验证 — 正式抓取前检查工具连通性与浏览器连接状态
显著优点
- 精准匹配工具与场景：避免"一把抓"的效率损耗，API级抓取速度远超浏览器模拟
- 绕过反爬机制：playwright-cli复用真实浏览器登录态，有效应对现代电商网站的动态防护
- 结构化输出保障：opencli返回标准JSON，省去复杂解析逻辑
- 实战导向：提供可直接执行的命令模板（小红书搜索、知乎热榜、京东评论等）
潜在局限
- 工具依赖前置：需提前安装opencli、playwright-cli及Chrome环境，配置门槛较高
- 平台覆盖有限：opencli适配器仅覆盖头部平台，长尾网站仍需playwright-cli兜底
- 稳定性风险：浏览器自动化依赖页面DOM结构，目标网站改版可能导致失效
- 合规灰区：未明确涉及Robots协议遵守、频率控制等法律合规指引
适合人群
数据分析师、电商运营、竞品调研人员、自动化测试工程师，以及需要批量采集公开网络数据的业务场景。
常规风险
- 账号封禁：高频抓取可能触发平台风控，需配合代理IP与请求间隔策略
- 数据完整性：动态加载页面可能出现内容未完全渲染即被提取的情况
- 隐私泄露：复用已登录状态时需确保环境安全，避免敏感凭证外泄
- 法律合规：部分平台数据采集受服务条款限制，商业用途需评估法律风险