Douban Sync

📚 豆瓣书影音备份与同步专家

将豆瓣书影音游收藏导出为本地 CSV,支持全量爬取与 RSS 增量同步,Obsidian 友好格式。

收藏
6.4k
安装
1.7k
版本
0.1.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

Douban Sync 是一款面向豆瓣用户的个人数据归档工具,支持将四类收藏(图书、影视、音乐、游戏)完整导出为结构化 CSV 文件,并提供两种同步模式:

1. 全量导出(首次使用)

通过浏览器自动化或 HTTP 请求爬取用户全部历史收藏。需用户已登录豆瓣,按分类分页抓取(每页 30 条),自动处理「读过/在读/想读」等状态细分。内置 2-3 秒请求间隔与 30 秒重试机制,降低封禁风险。

2. RSS 增量同步(日常使用)

基于豆瓣公开 RSS 订阅源实现无登录同步,适合配置每日定时任务(cron),自动追加新标记条目,无需重复全量爬取。

输出格式

生成四张标准 CSV(书.csv、影视.csv、音乐.csv、游戏.csv),字段包含:标题、链接、标记日期、星级评分、状态、短评内容。格式兼容 Obsidian Dataview 等本地知识库工具。

显著优点

  • 数据主权:将平台封闭数据转为本地可控文件,规避豆瓣服务变动或账号风险
  • 双模式设计:全量爬取补全历史,RSS 同步降低日常成本
  • 开箱即用:提供浏览器脚本、Puppeteer、纯 HTTP 三种实现,适应不同技术环境
  • 去重安全:以豆瓣 URL 为唯一键,重复执行不产重复数据

局限与风险

  • 反爬依赖:全量导出依赖豆瓣网页结构,若官方改版需脚本更新;IP 可能触发限流(建议低频率、分时段执行)
  • RSS 延迟:增量同步存在分钟级延迟,且 RSS 仅含最近动态,无法回溯修改历史
  • 登录要求:全量模式需保持豆瓣登录态,长期使用需处理 Cookie 过期
  • 环境依赖:Puppeteer 模式需 Node.js + Chromium,对非技术用户配置门槛较高

适合人群

  • 希望离线备份豆瓣标记数据的资深用户
  • 使用 Obsidian/Notion 等工具构建个人知识库的读者
  • 需要定期归档书影音足迹的数据爱好者
  • 担心平台数据丢失、希望掌握原始数据的数字移民

常规风险提示

  • 爬取行为需遵守豆瓣 robots.txt 及用户协议,建议控制频率(单用户日请求 <100 次)
  • RSS 源为公开数据,但用户 ID 仍属个人信息,注意输出目录权限设置
  • 长期自动化运行建议使用独立账号,避免主账号因异常行为受限

Douban Sync 内容

scripts文件夹
手动下载zip · 13.7 kB
douban-browser-scraper.jstext/javascript
请选择文件