核心用法
Scrapling 是一款面向 Python 3.10+ 的自适应 Web 爬虫框架，封装为官方 MCP Skill，提供从单条请求到大规模并发爬取的全链路能力。其设计哲学是"One library, zero compromises"，将请求级爬取、浏览器自动化、反 Bot 绕过、自适应解析与分布式蜘蛛框架整合于统一接口。
三大抓取模式：
- Fetcher / FetcherSession：轻量级 HTTP 请求，支持 TLS 指纹伪装（impersonate）、HTTP/3、会话保持，适合静态页面与 API。
- DynamicFetcher / DynamicSession：基于真实浏览器（Chromium/Firefox）的自动化抓取，支持网络空闲等待、资源拦截、XHR 捕获，适合现代 SPA 与动态内容。
- StealthyFetcher / StealthySession：进阶隐身模式，内置 Cloudflare Turnstile 自动破解、WebRTC/Canvas 指纹混淆、DNS-over-HTTPS，专克高强度反爬。
自适应解析：Parser 层兼容 CSS Selector、XPath、BeautifulSoup 风格 API，并具备"学习"能力——当页面 DOM 结构变化时，可基于历史路径自动重新定位元素，降低维护成本。
蜘蛛框架：遵循 Scrapy 范式，支持多会话并发（concurrent_requests）、自动代理轮换、断点续爬（crawldir 持久化）、开发模式缓存（development_mode），以及会话类型路由（如静态页走 HTTP、防护页走 StealthySession）。
显著优点
1. 开箱即用的反爬对抗：Cloudflare、DataDome 等挑战自动处理，无需第三方打码服务或 API Key，纯本地浏览器自动化实现。
2. 多范式 API 统一：同一套 Selector 接口覆盖 requests、playwright、bs4 用户习惯，迁移成本极低。
3. 性能与隐匿兼顾：Stealthy 与 Dynamic 模式共享几乎相同的启动速度，资源拦截（--disable-resources）与广告过滤（~3,500 域名）进一步降低开销。
4. AI 场景优化：--ai-targeted 参数自动清理隐藏元素、零宽字符、HTML 注释，并启用广告拦截，显著减少 Token 消耗与提示注入风险。
5. 生产级韧性：断点续爬、会话池复用、异步并发（AsyncSession）、开发缓存等机制，支撑长时间、高并发的工业级采集任务。
潜在缺点与局限性
- Python 版本门槛：强制要求 Python 3.10+，旧环境需升级。
- 浏览器依赖：Stealthy/Dynamic 模式需下载 Chromium/Firefox 二进制（
scrapling install），首次部署体积约 100-200MB；Docker 镜像可作为替代，但仅支持 CLI 场景。 - 反爬破解的法律灰色地带：Cloudflare 绕过功能虽技术上合法，但可能违反目标网站 ToS，存在合规风险；Skill 已内置
robots_txt_obey开关与 Guardrails 声明，最终责任在 user。 - 无内置数据存储：需自行对接 JSON/CSV/数据库，框架仅负责抓取与解析。
- 社区生态较新：相比 Scrapy 的十年插件积累，周边中间件与扩展较少。
适合人群
- 数据工程师 / 爬虫开发者：需快速构建高并发、高对抗性采集链路，且厌倦 Scrapy+Selenium+undetected-chromedriver 的拼凑方案。
- AI 应用开发者：需要将网页内容转换为干净 Markdown 供 RAG/LLM 消费，关注 Token 效率与内容安全。
- 安全研究员：需要隐身浏览器进行前端对抗测试，或验证 WAF/Bot 管理策略。
- 运维与 SRE：通过 CLI 快速抓取监控目标（如状态页、变更检测），无需编写代码。
常规风险
- 法律与合规：绕过反爬机制、违反 robots.txt、抓取个人数据（PII）可能导致法律责任；Skill 提供技术能力，不豁免 user 的合规义务。
- 提示注入与恶意内容：尽管
--ai-targeted能清理大部分前端混淆，用户指定的不可信 URL 仍可能返回社工载荷；建议仅访问可信源。 - 凭证泄露：代理认证、Cookie 等敏感参数由用户传入，Skill 本身不存储，但需警惕 shell history、日志文件中的残留。
- 资源滥用：高并发爬取可能对目标站点造成 DDoS 效应；请设置
download_delay并遵守 rate limit。