核心功能
Douban Sync 是一款面向豆瓣用户的个人数据归档工具,支持将四类收藏(图书、影视、音乐、游戏)完整导出为结构化 CSV 文件,并提供两种同步模式:
1. 全量导出(首次使用)
通过浏览器自动化或 HTTP 请求爬取用户全部历史收藏。需用户已登录豆瓣,按分类分页抓取(每页 30 条),自动处理「读过/在读/想读」等状态细分。内置 2-3 秒请求间隔与 30 秒重试机制,降低封禁风险。
2. RSS 增量同步(日常使用)
基于豆瓣公开 RSS 订阅源实现无登录同步,适合配置每日定时任务(cron),自动追加新标记条目,无需重复全量爬取。
输出格式
生成四张标准 CSV(书.csv、影视.csv、音乐.csv、游戏.csv),字段包含:标题、链接、标记日期、星级评分、状态、短评内容。格式兼容 Obsidian Dataview 等本地知识库工具。
显著优点
- 数据主权:将平台封闭数据转为本地可控文件,规避豆瓣服务变动或账号风险
- 双模式设计:全量爬取补全历史,RSS 同步降低日常成本
- 开箱即用:提供浏览器脚本、Puppeteer、纯 HTTP 三种实现,适应不同技术环境
- 去重安全:以豆瓣 URL 为唯一键,重复执行不产重复数据
局限与风险
- 反爬依赖:全量导出依赖豆瓣网页结构,若官方改版需脚本更新;IP 可能触发限流(建议低频率、分时段执行)
- RSS 延迟:增量同步存在分钟级延迟,且 RSS 仅含最近动态,无法回溯修改历史
- 登录要求:全量模式需保持豆瓣登录态,长期使用需处理 Cookie 过期
- 环境依赖:Puppeteer 模式需 Node.js + Chromium,对非技术用户配置门槛较高
适合人群
- 希望离线备份豆瓣标记数据的资深用户
- 使用 Obsidian/Notion 等工具构建个人知识库的读者
- 需要定期归档书影音足迹的数据爱好者
- 担心平台数据丢失、希望掌握原始数据的数字移民
常规风险提示
- 爬取行为需遵守豆瓣 robots.txt 及用户协议,建议控制频率(单用户日请求 <100 次)
- RSS 源为公开数据,但用户 ID 仍属个人信息,注意输出目录权限设置
- 长期自动化运行建议使用独立账号,避免主账号因异常行为受限