核心用法
FlowCrawl 是一款零配置网页爬取工具，专为绕过现代反爬虫机制设计。核心工作流程采用三级级联策略：Tier 1 纯 HTTP 快速抓取常规站点；遭遇 403/503 或 Cloudflare 拦截时自动升至 Tier 2，通过 TLS 指纹 spoofing 模拟真实浏览器；面对重度 JS 防护或 SPA 单页应用则启用 Tier 3 完整 JavaScript 执行引擎。用户只需提供目标 URL，无需管理代理池、申请 API 密钥或部署 Headless Chrome，大幅降低爬虫运维成本。
典型场景：
- 单页快速提取：
flowcrawl https://example.com直接输出 Markdown - 整站蜘蛛：
--deep --limit 30 --combine递归抓取并合并为单一文档 - 结构化集成：
--json管道化输出供下游工具消费
显著优点
1. 零依赖门槛：仅依赖 scrapling 库，Playwright 自动懒加载，避免 Chromium 镜像下载烦恼
2. 智能降级与升级：自动识别阻断特征（HTTP 状态码 + 响应内容启发式），静默切换 tier，用户无感知
3. 输出即产品：原生支持 Markdown/TXT/JSON，尤其适合 LLM RAG 知识库、文档归档、竞品监控
4. 隐私合规设计：本地执行，无云端中转，规避第三方 SaaS 爬取服务的 GDPR/CCPA 数据跨境风险
潜在缺点与局限性
- 法律灰色地带：TLS spoofing 与 JS 逃逸技术可能违反目标站点的 ToS，高频抓取易触发 IP 封禁甚至法律追责
- 资源消耗不均：Tier 3 全 JS 模式启动 Playwright 实例，内存占用可达数百 MB，深度爬取时并发需谨慎
- 动态内容时序：部分重度异步渲染页面（如无限滚动 + MutationObserver 延迟加载）可能出现内容截断，需人工校验
- 无分布式能力：单机架构，缺乏内置队列与横向扩展，大规模项目需自行对接 Celery/RQ
适合人群
- 数据分析师、研究员：快速获取公开数据集或文献站点内容
- AI 开发者：构建垂直领域 LLM 训练语料，清洗网页为结构化 Markdown
- 独立开发者/小团队：无预算购买 ScraperAPI、Bright Data 等商用代理服务
常规风险
合规风险：绕过 Cloudflare 等安全服务的技术手段在部分司法管辖区可能被视为「未经授权访问计算机系统」，企业用户需法务评估。技术反制：目标站点可升级至行为分析（鼠标轨迹、scroll 模式）或 CAPTCHA v3，此时 FlowCrawl 成功率骤降。稳定性风险：依赖 Playwright 与浏览器版本绑定，Chromium 更新可能导致 stealth 插件失效，需持续维护。