Douban Sync

📚 豆瓣收藏一键导出与自动同步

自动导出豆瓣全品类收藏至本地CSV,支持浏览器抓取全量数据与RSS增量同步,Obsidian兼容格式,需配置用户ID

收藏
7.4k
安装
1.7k
版本
0.1.5
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Douban Sync 提供两种数据导出模式:

全量导出(首次使用):通过浏览器工具抓取豆瓣读书、电影、音乐、游戏四大品类的全部收藏记录。需用户已登录豆瓣账号,脚本自动翻页采集(每页30条),支持"读过/在读/想读"等完整状态分类。提供三种实现方案:纯HTTP请求(可能触发限流)、Puppeteer CDP浏览器自动化、以及浏览器控制台手动提取脚本。

增量同步(日常使用):基于RSS Feed实现免登录每日自动同步,推荐配置cron定时任务。仅需设置DOUBAN_USER环境变量即可运行。

显著优点

  • 全品类覆盖:完整支持书籍、影视、音乐、游戏四大核心品类
  • 双模式架构:首次全量抓取 + 日常RSS增量,兼顾完整性与效率
  • Obsidian原生兼容:CSV格式直接导入知识库,便于二次分析
  • 智能去重:基于豆瓣URL唯一标识,重复运行无数据冗余
  • 状态完整保留:精确区分"读过/在读/想读"等细粒度收藏状态

潜在局限

  • 依赖环境变量:必须手动配置DOUBAN_USER,无交互式引导
  • 反爬风险:全量导出需2-3秒/页延迟,仍有被限流可能(30秒冷却重试)
  • 登录状态依赖:首次导出需保持浏览器登录态,多账号切换不便
  • RSS延迟性:增量同步依赖豆瓣RSS更新频率,非实时同步
  • 数据完整性边界:部分条目因豆瓣下架可能导致单页不满30条

适合人群

  • 需要本地备份豆瓣多年收藏数据的数字仓鼠党
  • 使用Obsidian等工具构建个人知识库的PKM实践者
  • 希望量化分析阅读/观影习惯的数据爱好者
  • 担忧平台内容消失的长期主义者

常规风险

  • 账号安全:全量导出需保持登录态,建议专用于此任务的浏览器配置
  • 频率控制:严格遵守2-3秒/页延迟,避免触发豆瓣反爬机制
  • 数据隐私:CSV文件本地明文存储,需注意输出目录的访问权限
  • 服务依赖:RSS同步受豆瓣服务可用性制约,建议定期检查同步状态

Douban Sync 内容

scripts文件夹
手动下载zip · 14.1 kB
douban-browser-scraper.jstext/javascript
请选择文件