核心用法
website-scraper-pro 是一款基于 Crawl4AI 的本地单页网页抓取工具，专为需要确定性、无 AI 处理的网页内容提取场景设计。用户通过 uv run 直接调用本地脚本，无需复杂环境配置。
主要功能模式
| 模式 | 命令示例 | 用途 |
|------|---------|------|
| 默认 Markdown | `uv run ... <URL>` | 提取干净的文章、文档、博客正文 |
| JS 渲染 | `--js` 参数 | 处理客户端渲染的单页应用(SPA) |
| 查询聚焦 | `--query "关键词"` | 按关键词过滤页面内容，非 LLM 实现 |
| JSON 输出 | `--format json` | 返回结构化数据（title, url, markdown, links, metadata） |
显著优点
1. 零 AI 内部处理：纯确定性工具，输出可预测、可复现，适合对一致性要求高的工作流
2. Clean Markdown 提取：自动过滤广告、导航、页脚等噪音，保留核心正文
3. JS 感知能力：通过 Playwright 支持动态渲染页面，突破传统静态爬虫限制
4. 隔离环境管理：uv 自动处理依赖，无需手动安装 crawl4ai
5. 轻量单页专注：明确边界，避免过度设计，执行速度快
潜在局限
- 单页限制：不支持站点级爬取、递归抓取、站点地图生成
- 无认证支持：无法处理登录态、Cookie 或交互式表单提交
- 非 RAG 工具：无内置向量索引、语义检索或 AI 问答能力
- 首次配置成本：需一次性安装 Playwright Chromium 浏览器
- 反爬依赖：无内置代理轮换、速率限制或验证码处理
适合人群
- 开发者需要将特定网页内容接入自动化工作流
- 内容运营人员批量提取文章正文用于后续处理
- 研究者收集文档页面生成结构化数据集
- 需确定性输出、拒绝 AI 幻觉的精度敏感场景
常规风险
| 风险类型 | 说明 |
|---------|------|
| 法律合规 | 需遵守目标网站的 robots.txt 和使用条款，避免高频抓取触发封禁 |
| 内容变动 | 网页结构变更可能导致提取失败，需监控维护 |
| 依赖更新 | Crawl4AI/Playwright 版本迭代可能影响兼容性 |