核心用法
Website Scraper Pro 是一个基于 Crawl4AI 的本地网页抓取工具，专为单页内容提取设计。用户通过 uv run 命令直接调用主脚本，无需配置复杂环境即可快速获取目标网页的干净 Markdown 或结构化 JSON 数据。
主要功能模式
- 基础抓取：
uv run ... <URL>→ 输出纯净 Markdown - JS 渲染支持：
--js参数启用浏览器引擎，应对 SPA/动态渲染页面 - 关键词筛选：
--query "<TEXT>"实现页内内容定位，全程无 LLM 介入 - 结构化输出：
--format json返回包含title、url、markdown、links、metadata的标准化 JSON
显著优点
1. 零配置启动：uv run 自动解析脚本内联依赖块，隔离安装 crawl4ai，避免全局环境污染
2. 确定性行为：查询筛选与输出格式完全基于规则，排除 AI 幻觉风险
3. 轻量高效：单页聚焦设计，无递归爬取开销，适合快速提取文档、博客、落地页内容
4. 开源生态：依托 GitHub 活跃项目 Crawl4AI，持续获得社区维护
潜在缺点与局限性
- 单页限制：不支持站点级递归爬取、站点地图生成或深度链接追踪
- 无 AI 能力：内置零摘要、零合成、零问答功能，需外部处理原始内容
- 认证壁垒：不支持登录态、Cookie 注入或交互式表单提交
- 浏览器依赖：JS 模式需额外执行 Playwright/Chromium 安装命令
- 网络约束：依赖目标站点可访问性，对反爬机制敏感页面可能失败
适合人群
- 开发者与数据工程师：需要快速将网页内容转为 LLM 友好格式
- 内容聚合者：批量提取文章、文档、博客的纯净文本
- 自动化工作流构建者：在管道中嵌入确定性网页抓取节点
- 隐私敏感用户：本地执行、无云端 API 调用、数据不出境
常规风险
- 法律合规：抓取前需确认目标站点
robots.txt与服务条款，避免侵权 - 频率控制：高频请求可能触发 IP 封禁，建议配合延时与代理
- 内容漂移：页面结构变更可能导致 Markdown 提取质量下降
- 依赖维护：Crawl4AI 与 Playwright 版本迭代可能引入破坏性变更