核心用法
baoyu-url-to-markdown 是一款基于 Chrome DevTools Protocol (CDP) 的网页抓取工具,通过 baoyu-fetch CLI 将任意 URL 转换为干净的 Markdown 格式。核心工作流为:代理确定基础目录 → 解析 Bun 运行时 → 安装依赖 → 执行 CLI 抓取 → 质量检查 → 输出结构化内容。
显著优点
1. 站点专属适配器:内置 X/Twitter、YouTube 字幕提取、Hacker News 线程及通用网页(Defuddle)适配器,自动识别站点类型并优化提取策略。
2. 交互式登录支持:通过 --wait-for interaction 模式处理需要登录或 CAPTCHA 的页面,支持自动检测继续或手动控制(force 模式)。
3. 灵活的媒体处理:EXTEND.md 配置支持 ask(每次询问)/ always(自动下载)/ never(保留远程 URL)三种模式,下载的媒体文件与 Markdown 隔离存储。
4. 结构化输出路径:自动生成 {domain}/{slug}/{slug}.md 层级目录,避免文件名冲突,支持时间戳后缀处理重复。
潜在缺点与局限性
1. 依赖 Chrome/Chromium:需本地安装 Chrome 或指定浏览器路径,容器/无桌面环境配置复杂。
2. Headless 渲染差异:部分站点在 headless 模式下返回低质量内容(如反爬虫检测、动态加载失败),需人工质量门检查。
3. Bun 运行时要求:虽比 Node.js 轻量,但仍需额外安装,非标准环境。
4. 首次使用阻塞式配置:EXTEND.md 不存在时必须完成三问配置(媒体、输出目录、保存位置),无法静默跳过。
适合人群
- 研究者与知识管理者:需要批量保存网页、构建本地知识库
- 开发者与内容策展人:提取技术文档、社交媒体线程、视频字幕
- 需处理登录墙内容的用户:支持交互式会话保持
常规风险
- 隐私泄露:Chrome Profile 可能保留登录态,共享环境需谨慎
- 反爬虫封禁:高频抓取可能触发 IP 限制
- 媒体存储膨胀:自动下载原图/视频可能快速消耗磁盘空间
- 内容完整性风险:JavaScript 延迟渲染内容可能抓取不全,需结合
--timeout调整