Douban Sync

📚 豆瓣收藏备份与RSS同步工具

豆瓣书影音游收藏导出工具,支持全量爬取与RSS增量同步,输出Obsidian兼容CSV格式,便于本地化数据管理。

收藏
6.7k
安装
1.7k
版本
0.1.6
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Douban Sync 是一款专注于豆瓣用户数据导出的本地化工具,支持书籍、影视、音乐、游戏四大类别的收藏记录导出。工具提供两种工作模式:

1. 全量导出(首次使用)
通过浏览器自动化工具抓取用户完整的收藏历史。用户需保持豆瓣登录状态,工具按分类遍历所有分页数据(每页30条),自动处理「读过/在读/想读」等状态分类。技术实现支持三种方案:纯HTTP请求(可能触发限流)、Puppeteer CDP浏览器自动化,以及浏览器控制台脚本手动提取。

2. 增量同步(日常维护)
基于RSS Feed实现免登录增量更新,适合配置定时任务(如cron每日执行),持续同步新增收藏记录。

输出特性

  • 生成四份独立CSV文件,字段包含标题、URL、日期、评分、状态、短评
  • 以豆瓣URL为唯一标识自动去重,支持重复运行
  • 默认输出至 ~/douban-sync/{user_id}/ 目录,兼容Obsidian等知识管理工具

显著优点

  • 数据主权归属:突破平台封闭,将个人积累的书影音记录完整导出本地,避免服务变动导致数据丢失
  • 双模式设计:全量导出解决历史数据迁移,RSS增量实现低维护成本持续同步
  • 格式友好:CSV通用格式配合标准化字段,可直接导入Notion、Obsidian、Excel等工具二次分析
  • 合规抓取:遵循豆瓣公开页面结构,内置2-3秒请求间隔与30秒重试机制,降低封禁风险

潜在局限

  • 依赖登录态:全量导出需人工保持浏览器登录,无法完全无人值守
  • 反爬对抗:纯HTTP模式易受 rate limit 影响,需降级至浏览器自动化方案
  • 内容完整性:短评内容需用户公开可见,私密标记内容无法抓取;部分下架条目可能导致分页数据缺失
  • 无API兜底:基于页面结构解析,若豆瓣改版需维护选择器

适合人群

  • 豆瓣十年以上老用户,希望备份海量书影音标记数据
  • Obsidian/Notion 用户,想将豆瓣记录接入个人知识库
  • 数据控,希望对观影、阅读历史进行自定义统计与可视化
  • 对平台依赖有危机意识,追求数据可移植性的用户

常规风险

  • 账号安全:全量导出模式需登录凭证参与爬取,虽仅在本地浏览器执行,仍建议配合独立小号或检查脚本来源
  • IP/账号限制:频繁请求可能触发豆瓣反爬机制,导致临时访问限制
  • 数据一致性:RSS同步存在小时级延迟,非实时同步方案

Douban Sync 内容

scripts文件夹
手动下载zip · 12.5 kB
douban-browser-scraper.jstext/javascript
请选择文件