Baoyu Url To Markdown

📄 智能网页转 Markdown 神器

通过 Chrome CDP 将任意网页转换为结构化 Markdown,支持登录/CAPTTCHA 处理、媒体下载,适配 X/Twitter、YouTube、Hacker News 等站点。

收藏
13.1k
安装
3.5k
版本
1.115.4
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

baoyu-url-to-markdown 是一款基于 Chrome DevTools Protocol (CDP) 的网页抓取工具,通过 baoyu-fetch CLI 将任意 URL 转换为干净的 Markdown 格式。核心工作流为:代理确定基础目录 → 解析 Bun 运行时 → 安装依赖 → 执行 CLI 抓取 → 质量检查 → 输出结构化内容。

显著优点

1. 站点专属适配器:内置 X/Twitter、YouTube 字幕提取、Hacker News 线程及通用网页(Defuddle)适配器,自动识别站点类型并优化提取策略。
2. 交互式登录支持:通过 --wait-for interaction 模式处理需要登录或 CAPTCHA 的页面,支持自动检测继续或手动控制(force 模式)。

3. 灵活的媒体处理:EXTEND.md 配置支持 ask(每次询问)/ always(自动下载)/ never(保留远程 URL)三种模式,下载的媒体文件与 Markdown 隔离存储。

4. 结构化输出路径:自动生成 {domain}/{slug}/{slug}.md 层级目录,避免文件名冲突,支持时间戳后缀处理重复。

潜在缺点与局限性

1. 依赖 Chrome/Chromium:需本地安装 Chrome 或指定浏览器路径,容器/无桌面环境配置复杂。
2. Headless 渲染差异:部分站点在 headless 模式下返回低质量内容(如反爬虫检测、动态加载失败),需人工质量门检查。

3. Bun 运行时要求:虽比 Node.js 轻量,但仍需额外安装,非标准环境。

4. 首次使用阻塞式配置:EXTEND.md 不存在时必须完成三问配置(媒体、输出目录、保存位置),无法静默跳过。

适合人群

  • 研究者与知识管理者:需要批量保存网页、构建本地知识库
  • 开发者与内容策展人:提取技术文档、社交媒体线程、视频字幕
  • 需处理登录墙内容的用户:支持交互式会话保持

常规风险

  • 隐私泄露:Chrome Profile 可能保留登录态,共享环境需谨慎
  • 反爬虫封禁:高频抓取可能触发 IP 限制
  • 媒体存储膨胀:自动下载原图/视频可能快速消耗磁盘空间
  • 内容完整性风险:JavaScript 延迟渲染内容可能抓取不全,需结合 --timeout 调整

Baoyu Url To Markdown 内容

references文件夹
config文件夹
scripts文件夹
lib文件夹
adapters文件夹
generic文件夹
hn文件夹
x文件夹
youtube文件夹
browser文件夹
commands文件夹
extract文件夹
media文件夹
types文件夹
utils文件夹
手动下载zip · 92.0 kB
first-time-setup.mdtext/markdown
请选择文件