核心用法
Douban Sync 提供两种数据导出模式:
全量导出(首次使用):通过浏览器工具抓取豆瓣读书、电影、音乐、游戏四大品类的全部收藏记录。需用户已登录豆瓣账号,脚本自动翻页采集(每页30条),支持"读过/在读/想读"等完整状态分类。提供三种实现方案:纯HTTP请求(可能触发限流)、Puppeteer CDP浏览器自动化、以及浏览器控制台手动提取脚本。
增量同步(日常使用):基于RSS Feed实现免登录每日自动同步,推荐配置cron定时任务。仅需设置DOUBAN_USER环境变量即可运行。
显著优点
- 全品类覆盖:完整支持书籍、影视、音乐、游戏四大核心品类
- 双模式架构:首次全量抓取 + 日常RSS增量,兼顾完整性与效率
- Obsidian原生兼容:CSV格式直接导入知识库,便于二次分析
- 智能去重:基于豆瓣URL唯一标识,重复运行无数据冗余
- 状态完整保留:精确区分"读过/在读/想读"等细粒度收藏状态
潜在局限
- 依赖环境变量:必须手动配置
DOUBAN_USER,无交互式引导 - 反爬风险:全量导出需2-3秒/页延迟,仍有被限流可能(30秒冷却重试)
- 登录状态依赖:首次导出需保持浏览器登录态,多账号切换不便
- RSS延迟性:增量同步依赖豆瓣RSS更新频率,非实时同步
- 数据完整性边界:部分条目因豆瓣下架可能导致单页不满30条
适合人群
- 需要本地备份豆瓣多年收藏数据的数字仓鼠党
- 使用Obsidian等工具构建个人知识库的PKM实践者
- 希望量化分析阅读/观影习惯的数据爱好者
- 担忧平台内容消失的长期主义者
常规风险
- 账号安全:全量导出需保持登录态,建议专用于此任务的浏览器配置
- 频率控制:严格遵守2-3秒/页延迟,避免触发豆瓣反爬机制
- 数据隐私:CSV文件本地明文存储,需注意输出目录的访问权限
- 服务依赖:RSS同步受豆瓣服务可用性制约,建议定期检查同步状态