核心用法
FlowCrawl 是一个 Python 命令行爬虫工具，封装了 Scrapling 库实现反爬穿透。使用时先安装依赖 pip install scrapling，然后直接对目标 URL 执行脚本。支持单页抓取、整站爬取（--deep）、深度限制（--depth）、数量限制（--limit）、合并输出（--combine）及 JSON 结构化输出（--json）。
显著优点
1. 零配置穿透：无需 Chrome CDP、代理池或第三方 API 密钥，依赖 Scrapling 的 TLS 指纹伪装和轻量 JS 引擎实现反爬对抗
2. 智能降级策略：三层级联架构（纯 HTTP → 隐身 TLS → 完整 JS 执行）按响应自动切换，兼顾速度与成功率
3. 输出友好：默认生成干净 Markdown，便于 LLM 直接消费；支持 JSON 便于程序化集成
4. 整站爬取能力：内置链接发现和深度控制，可做轻量级站点镜像
潜在局限与风险
- 法律合规：绕过了目标站点的 bot 保护机制，可能违反 ToS，存在法律风险
- 依赖质量：完全依赖 Scrapling 的维护状态，若上游更新滞后或指纹库过期，穿透能力下降
- 资源消耗：Tier 3 的 JS 执行比纯 HTTP 显著更慢，大规模爬取时性能和内存占用需关注
- 误伤可能：自动重试和 TLS spoof 可能被某些企业防火墙标记为恶意流量
适合人群
- 数据分析师、研究员需要快速获取公开网页内容
- 开发者构建无需维护代理池的轻量级数据采集 pipeline
- 需要绕过 Cloudflare 基础保护的合规场景（需自行评估法律边界）
常规风险
| 风险类型 | 说明 |
|---------|------|
| 合规风险 | 高 — 绕过反爬机制可能违反网站服务条款 |
| 封号风险 | 中 — 目标站可能封禁 IP 或要求验证码 |
| 供应链风险 | 中 — 依赖 Scrapling 和 Playwright 的更新 |
| 隐私风险 | 低 — 工具本身不收集用户数据 |