核心用法
deep-scraper 是一个面向工程师的高性能深网数据采集工具，采用容器化架构（Docker + Crawlee + Playwright）实现对现代复杂网站的穿透式抓取。用户需预先构建 clawd-crawlee 镜像，通过标准 CLI 接口传入目标 URL 即可启动采集任务。
典型工作流：
1. 构建镜像：docker build -t clawd-crawlee skills/deep-scraper/
2. 执行抓取：docker run -t --rm -v $(pwd)/skills/deep-scraper/assets:/usr/src/app/assets clawd-crawlee node assets/main_handler.js [TARGET_URL]
3. 解析 stdout 输出的 JSON 结果
输出格式标准化为 JSON，包含状态码（SUCCESS/PARTIAL/ERROR）、内容类型（TRANSCRIPT/DESCRIPTION/GENERIC）、YouTube VideoID（如适用）及核心文本数据。
显著优点
- 反爬穿透能力：Playwright 模拟真实浏览器行为，可应对 YouTube、X/Twitter 等平台的动态渲染与防护机制
- 容器化隔离：Docker 封装确保环境一致性，避免本地依赖污染
- LLM 优化输出：自动过滤广告与噪音，返回结构化纯净数据
- 模块化部署：
skills/deep-scraper目录即插即用，自包含 Dockerfile 便于集成
潜在局限
- 基础设施依赖：强制要求宿主机预装并运行 Docker，增加部署门槛
- 资源消耗：Playwright 浏览器实例内存占用较高，大规模并发需精细调度
- 平台合规风险：YouTube、X/Twitter 等服务条款通常禁止自动化抓取
- 维护成本：目标站点前端变更可能导致选择器失效，需持续适配
适合人群
- 需批量提取公开视频字幕/描述的内容创作者与研究员
- 构建 RAG 知识库、需原始数据源的 AI 应用开发者
- 具备 Docker 运维经验的后端工程师
常规风险
| 风险类型 | 说明 |
|---------|------|
| 服务条款违规 | 可能触发平台账号封禁或法律追索 |
| 数据隐私 | 虽禁止密码保护内容抓取，但公开个人信息的聚合仍存在伦理争议 |
| 缓存污染 | 未正确验证 VideoID 可能导致数据交叉污染（已内置校验规则防范） |
| 资源滥用 | 高频请求可能被识别为 DDoS 攻击特征 |
建议配合代理池、请求频率限制及合规审查流程使用。