核心用法
scrapling-fetch 是一款专注于绕过现代反爬机制的网页抓取技能，主要解决传统爬虫在 Cloudflare Turnstile、微信公众号等平台遇到的访问限制问题。
主要功能
- 智能工具选择：根据目标网站自动选用 Scrapling（反爬绕过）或 Jina Reader（快速模式）
- 微信公众号专优：成功率 >95%，自动处理微信的反爬策略
- 多格式输出：支持 JSON 结构化数据或纯文本输出
- 内容清洗：自动提取正文、去广告、保留图片链接
显著优点
1. 反爬能力强：基于 Playwright 无头浏览器和 StealthyFetcher 技术，模拟真实用户行为
2. 自适应稳定：内置自适应选择器，目标网站改版仍能定位内容
3. 双引擎灵活：普通网页用 Jina（1.4秒快速响应），困难站点用 Scrapling（深度渲染）
4. 批量友好：支持 shell 循环批量处理，输出 JSONL 便于下游分析
潜在缺点与局限性
| 问题 | 说明 |
|------|------|
| 社交登录内容 | 推特/微博等需登录的内容无法抓取 |
| 付费墙内容 | 仅能获取公开可见部分 |
| 频率敏感 | 建议 2-3 秒间隔，高频易触发封禁 |
| 成本考量 | 付费版按次计费（$0.01/次），大量调用需预算规划 |
| 依赖外部服务 | Jina Reader 有 200次/天免费限额 |
适合人群
- AI 内容创作者：需要将公众号、Medium 等文章喂给大模型分析
- 研究人员：批量收集反爬保护平台的公开资料
- 自动化开发者：构建失败重试链路（web_fetch → scrapling-fetch）
常规风险
- 合规风险：抓取前需确认目标网站的 robots.txt 和服务条款
- 账号风险：微信等平台可能记录异常访问行为
- 计费失控：付费版本需监控调用量和余额，避免服务中断
- 数据质量：动态渲染页面可能因时序问题导致内容不完整
技术栈
- 底层：Scrapling (StealthyFetcher) + Playwright + Jina Reader API