Scrapling Official Skill

核心用法

Scrapling 是专为现代反爬虫环境设计的 Python 抓取框架，提供三层递进式抓取策略：

1. 命令行快速抓取（零代码）

• scrapling extract get：基础 HTTP 请求，适合静态站点
• scrapling extract fetch：浏览器自动化，支持 JS 渲染与网络空闲等待
• scrapling extract stealthy-fetch：最高级隐身模式，内置 Cloudflare Turnstile 自动破解

2. Python API 编程

• Fetcher/FetcherSession：HTTP 会话管理，支持 TLS 指纹模拟
• StealthyFetcher/StealthySession：隐身浏览器，自动处理 WebGL/Canvas/WebRTC 指纹
• DynamicFetcher/DynamicSession：完整浏览器自动化，支持 XHR 捕获
• Spider 框架：Scrapy 风格的多会话并发爬虫，支持断点续爬与开发模式缓存

3. 自适应解析

• 统一 Selector API 融合 CSS/XPath/BeautifulSoup 语法
• 智能元素重定位：页面结构变化时自动追踪目标元素
• 元素关系导航：parent/sibling/below/find_similar 等链式操作

显著优点

• 开箱即用的反爬虫：无需第三方服务或 API 密钥，纯自动化技术绕过 Cloudflare
• 三档递进策略：从极速 HTTP 到隐身浏览器，根据站点防护自动选型
• 生产级爬虫架构：内置并发控制、代理轮换、robots.txt 遵守、断点续爬
• AI 友好输出：--ai-targeted 参数自动提取主内容并清理隐藏元素
• 开发效率：development_mode 缓存响应，迭代调试零网络请求

潜在缺点与局限

• Python 3.10+ 硬性依赖：旧环境无法运行
• 浏览器依赖体积大：首次安装需下载 Chromium/Firefox 二进制（约 150MB+）
• Cloudflare 破解非万能：极端行为检测仍可能触发拦截
• 法律边界敏感：内置强大绕过能力，误用风险高于普通抓取工具
• Docker 模式功能受限：仅 CLI 可用，无法编写 Python 代码

适合人群

• 数据工程师：需要从受保护站点提取结构化数据
• 安全研究员：合法的渗透测试与漏洞赏金场景
• 内容聚合开发者：构建需要 JS 渲染的爬虫管道
• 替代 BeautifulSoup/Scrapy 用户：寻求更现代的反爬虫原生支持

常规风险

• 服务条款冲突：即使技术可行，批量抓取仍可能违反网站 ToS
• IP 封禁：未配合代理轮换时，高频请求易触发黑名单
• 法律合规：抓取个人数据、版权内容、绕过付费墙存在明确法律风险
• 提示注入防护：CLI 使用时必须添加 --ai-targeted 防止恶意页面注入指令

核心用法

Scrapling 是一个 Python 网页抓取框架，本 Skill 提供其完整文档与使用指南。核心能力分为三层：

1. 基础 HTTP 抓取 (Fetcher/FetcherSession)：支持请求伪装、会话保持、TLS 指纹模拟，适合静态页面快速抓取。
2. 浏览器自动化 (DynamicFetcher/StealthyFetcher)：基于 Playwright 的无头浏览器，支持 JavaScript 渲染、网络空闲等待、XHR 捕获。StealthyFetcher 专门对抗 Cloudflare Turnstile 等反爬虫系统。
3. 爬虫框架 (Spider)：类 Scrapy 的异步并发框架，支持多会话类型混合、自动代理轮换、断点续爬、开发模式缓存。

CLI 工具提供零代码抓取：get/post 用于静态站，fetch 用于动态站，stealthy-fetch 用于受保护站点。

显著优点

• 反爬虫开箱即用：Cloudflare 绕过无需 API 密钥，通过浏览器自动化实现；支持 WebRTC 屏蔽、Canvas 噪声、代理认证等高级隐身配置。
• 自适应解析：页面结构变化后，解析器可自动重新定位元素，降低维护成本。
• 多模式灵活切换：同一框架内可从简单请求平滑升级到全浏览器自动化，甚至混合使用。
• 开发体验优秀：支持断点续爬、响应缓存、实时统计流式输出；API 兼容 BeautifulSoup 风格，迁移成本低。
• Python 3.10+ 专用：利用现代 Python 特性，代码简洁高效。

潜在局限

• 依赖较重：需下载浏览器二进制文件（Chrome/Firefox），首次 setup 耗时较长；Docker 方案仅支持 CLI，无法编写 Python 代码。
• 资源占用：浏览器模式内存/CPU 消耗显著高于纯 HTTP 请求，大规模并发需合理规划。
• Python 版本限制：不支持 Python 3.9 及以下，老旧环境无法使用。
• 合规责任：反爬虫能力强大，需用户自觉遵守 robots.txt 与服务条款，避免法律风险。

适合人群

• 数据工程师、爬虫开发者需要对抗现代反爬虫系统
• 研究者需抓取 JavaScript 渲染的动态内容
• 需要从 BeautifulSoup/Scrapy 迁移到更现代工具的用户
• 希望 CLI 快速验证、代码模式深度定制的混合使用者

常规风险

• 法律合规：绕过 Cloudflare 或抓取受保护内容可能违反 CFAA、DMCA 或网站 ToS，仅限授权范围内使用。
• 隐私数据：框架本身不收集数据，但用户抓取行为可能触及 GDPR/CCPA，需自行合规。
• 提示注入：CLI 使用时必须加 --ai-targeted 参数防止 Prompt Injection，Skill 文档已明确警示。
• 代理安全：代理认证信息由用户传入，需自行确保不泄露。

安全认证：S 级，T2 来源可信度（D4Vinci 知名开源作者），零威胁发现，BSD-3-Clause 许可证。