Douban Sync

📚 豆瓣收藏一键导出本地 CSV 备份

将豆瓣书影音游戏收藏导出为本地 CSV 文件,支持全量抓取与 RSS 增量同步,数据完全本地化存储

收藏
5.7k
安装
1.7k
版本
0.1.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Douban Sync 是一款专为豆瓣用户设计的本地数据管理工具,支持将用户在豆瓣上的书籍、电影、音乐、游戏四大品类的收藏记录完整导出为结构化的 CSV 文件,便于本地存档、数据分析或与 Obsidian 等知识管理工具集成。

工具提供两种互补的工作模式:

1. 全量导出(首次使用)
通过浏览器自动化工具访问豆瓣个人主页,遍历所有分页抓取完整收藏历史。支持"读过/在读/想读"、"看过/在看/想看"等细粒度状态分类。提供三种实现方案:纯 HTTP 请求脚本(可能被限流)、Puppeteer CDP 浏览器方案、以及浏览器控制台手动提取脚本,用户可根据环境灵活选择。

2. 增量同步(日常维护)
基于 RSS 订阅实现免登录的每日自动同步,通过设置 DOUBAN_USER 环境变量即可运行,推荐配合 cron 定时任务实现自动化备份。

输出规范
按用户 ID 分目录存储,生成四个独立 CSV 文件(书.csv、影视.csv、音乐.csv、游戏.csv),字段包含标题、URL、日期、评分、状态及短评,URL 去重机制确保多次运行安全。

显著优点

  • 数据自主权:打破平台封闭,实现个人数字资产的本地可控备份
  • 双模架构:全量抓取+RSS 增量覆盖完整生命周期需求
  • Obsidian 兼容:CSV 格式直接适配主流笔记软件的表格与 Dataview 插件
  • 免维护设计:一次配置后通过 cron 自动运行,零日常操作成本

潜在局限

  • 反爬风险:豆瓣对自动化访问有频率限制,需手动处理 2-3 秒延迟及偶发封禁
  • 登录依赖:全量导出需保持浏览器登录态,无法纯后台完成
  • 数据边界:仅导出用户主动标记的收藏,不含浏览历史、小组讨论等数据
  • 技术门槛:需具备 Node.js 环境配置及基础的命令行/浏览器开发者工具操作能力

适合人群

  • 豆瓣重度用户(书影音标记量>500),担忧平台数据安全
  • Obsidian/Notion 用户,希望构建个人观影/阅读知识库
  • 数据分析师,需要对消费记录进行自定义统计可视化
  • 数字极简主义者,追求跨平台数据便携性

常规风险

  • 频繁抓取可能导致 IP 临时封禁,建议控制请求频率
  • RSS 同步依赖豆瓣未公开接口,存在未来失效可能
  • 导出的短评内容需注意个人隐私脱敏后再分享

Douban Sync 内容

scripts文件夹
手动下载zip · 13.6 kB
douban-browser-scraper.jstext/javascript
请选择文件