核心用法
Douban Sync 是一款专注于豆瓣用户数据导出的本地化工具,支持书籍、影视、音乐、游戏四大类别的收藏记录导出。工具提供两种工作模式:
1. 全量导出(首次使用)
通过浏览器自动化工具抓取用户完整的收藏历史。用户需保持豆瓣登录状态,工具按分类遍历所有分页数据(每页30条),自动处理「读过/在读/想读」等状态分类。技术实现支持三种方案:纯HTTP请求(可能触发限流)、Puppeteer CDP浏览器自动化,以及浏览器控制台脚本手动提取。
2. 增量同步(日常维护)
基于RSS Feed实现免登录增量更新,适合配置定时任务(如cron每日执行),持续同步新增收藏记录。
输出特性
- 生成四份独立CSV文件,字段包含标题、URL、日期、评分、状态、短评
- 以豆瓣URL为唯一标识自动去重,支持重复运行
- 默认输出至
~/douban-sync/{user_id}/目录,兼容Obsidian等知识管理工具
显著优点
- 数据主权归属:突破平台封闭,将个人积累的书影音记录完整导出本地,避免服务变动导致数据丢失
- 双模式设计:全量导出解决历史数据迁移,RSS增量实现低维护成本持续同步
- 格式友好:CSV通用格式配合标准化字段,可直接导入Notion、Obsidian、Excel等工具二次分析
- 合规抓取:遵循豆瓣公开页面结构,内置2-3秒请求间隔与30秒重试机制,降低封禁风险
潜在局限
- 依赖登录态:全量导出需人工保持浏览器登录,无法完全无人值守
- 反爬对抗:纯HTTP模式易受 rate limit 影响,需降级至浏览器自动化方案
- 内容完整性:短评内容需用户公开可见,私密标记内容无法抓取;部分下架条目可能导致分页数据缺失
- 无API兜底:基于页面结构解析,若豆瓣改版需维护选择器
适合人群
- 豆瓣十年以上老用户,希望备份海量书影音标记数据
- Obsidian/Notion 用户,想将豆瓣记录接入个人知识库
- 数据控,希望对观影、阅读历史进行自定义统计与可视化
- 对平台依赖有危机意识,追求数据可移植性的用户
常规风险
- 账号安全:全量导出模式需登录凭证参与爬取,虽仅在本地浏览器执行,仍建议配合独立小号或检查脚本来源
- IP/账号限制:频繁请求可能触发豆瓣反爬机制,导致临时访问限制
- 数据一致性:RSS同步存在小时级延迟,非实时同步方案