Douban Sync

📚 你的豆瓣书影音档案管家

一键导出豆瓣书影音游收藏记录为 Obsidian 兼容 CSV,支持全量爬取与 RSS 增量同步,本地化管理你的文化消费史。

收藏
3.9k
安装
1.7k
版本
0.2.2
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Douban Sync 提供双模式豆瓣数据导出方案:首次使用浏览器全量爬取历史收藏,后续通过 RSS 实现每日增量同步,无需重复登录。

全量导出:基于 Puppeteer CDP 模拟浏览器行为,遍历书/影/音/游四类收藏页面(每类含「已消费/进行中/想消费」三种状态),自动分页抓取标题、链接、标记日期、评分、状态及短评,输出标准化 CSV。脚本内置 2-3 秒请求间隔与 30 秒冷却重试机制应对反爬。

RSS 增量:每日运行独立脚本拉取用户 RSS feed,仅同步新增条目,支持 cron 定时任务实现自动化,全程无需登录凭据。

显著优点

  • 格式友好:CSV 输出可直接导入 Obsidian 或其他笔记软件,结构化存储个人文化档案
  • 双轨机制:全量+增量结合,既解决历史数据迁移,又保证持续更新
  • 去重安全:基于豆瓣 URL 全局去重,多次执行无冗余
  • 多品类覆盖:唯一同时支持图书、影视、音乐、游戏四类内容的导出工具

潜在局限

  • 依赖浏览器:全量导出需保持登录状态,且受豆瓣反爬策略影响,大规模抓取可能触发限流
  • RSS 延迟:增量同步依赖豆瓣 RSS 更新频率,非实时同步
  • 无官方 API:基于页面解析实现,DOM 结构变更可能导致脚本失效
  • 环境配置:需 Node.js 运行环境与可选的 Chromium/Puppeteer 依赖

适合人群

数字归档爱好者、Obsidian/Notion 等知识管理工具用户、希望脱离平台锁定保存个人数据的重度豆瓣用户、需要量化阅读/观影习惯的自我追踪者。

常规风险

  • 高频请求可能导致 IP 临时封禁
  • 抓取行为存在违反豆瓣 ToS 的理论风险
  • RSS 链接为公开信息,若用户 ID 泄露则收藏动态可被第三方获取

Douban Sync 内容

scripts文件夹
手动下载zip · 14.9 kB
douban-browser-scraper.mjstext/javascript
请选择文件