核心用法
deep-scraper 是一个面向复杂反爬场景的工程化爬虫工具，采用容器化 Docker + Crawlee（Playwright）架构实现浏览器级渲染穿透。核心工作流程如下：
1. 环境构建：通过 docker build -t clawd-crawlee skills/deep-scraper/ 构建镜像
2. 调用执行：运行容器并挂载 assets/ 目录，执行 main_handler.js 传入目标 URL
3. 数据输出：返回标准化 JSON，包含状态码、内容类型、视频 ID 及核心文本数据
显著优点
- 反爬穿透力：Playwright 浏览器模拟可绕过大多数前端防护（如动态渲染、Canvas 指纹）
- 开箱即用：Docker 容器化实现环境隔离，依赖自包含
- LLM 优化：自动过滤广告与噪声，输出纯净结构化数据
- 标准化接口：统一的 CLI 调用与 JSON Schema，便于流水线集成
潜在局限
- 基础设施依赖：必须预装 Docker，对轻量环境不友好
- 资源消耗：浏览器级渲染内存/CPU 占用显著高于纯 HTTP 请求
- 法律灰区：穿透反爬机制可能违反目标站点的 ToS（服务条款）
- 维护成本：依赖 Playwright 浏览器版本同步，需持续更新镜像
适合人群
- 需要绕过复杂前端防护的数据工程师
- 构建 LLM 训练数据管道的 ML 团队
- 企业级舆情监控与竞品分析场景
常规风险
- IP 封禁：高频抓取易触发平台风控
- 法律合规：部分司法管辖区将规避反爬措施视为违法行为（如美国 CFAA）
- 数据隐私：虽内置隐私规则（禁止密码保护内容），但误配置可能导致违规抓取
- 供应链风险：Docker 镜像与 Node 依赖存在潜在安全漏洞传播路径