核心用法
Douban Sync 提供双模式豆瓣数据导出方案:首次使用浏览器全量爬取历史收藏,后续通过 RSS 实现每日增量同步,无需重复登录。
全量导出:基于 Puppeteer CDP 模拟浏览器行为,遍历书/影/音/游四类收藏页面(每类含「已消费/进行中/想消费」三种状态),自动分页抓取标题、链接、标记日期、评分、状态及短评,输出标准化 CSV。脚本内置 2-3 秒请求间隔与 30 秒冷却重试机制应对反爬。
RSS 增量:每日运行独立脚本拉取用户 RSS feed,仅同步新增条目,支持 cron 定时任务实现自动化,全程无需登录凭据。
显著优点
- 格式友好:CSV 输出可直接导入 Obsidian 或其他笔记软件,结构化存储个人文化档案
- 双轨机制:全量+增量结合,既解决历史数据迁移,又保证持续更新
- 去重安全:基于豆瓣 URL 全局去重,多次执行无冗余
- 多品类覆盖:唯一同时支持图书、影视、音乐、游戏四类内容的导出工具
潜在局限
- 依赖浏览器:全量导出需保持登录状态,且受豆瓣反爬策略影响,大规模抓取可能触发限流
- RSS 延迟:增量同步依赖豆瓣 RSS 更新频率,非实时同步
- 无官方 API:基于页面解析实现,DOM 结构变更可能导致脚本失效
- 环境配置:需 Node.js 运行环境与可选的 Chromium/Puppeteer 依赖
适合人群
数字归档爱好者、Obsidian/Notion 等知识管理工具用户、希望脱离平台锁定保存个人数据的重度豆瓣用户、需要量化阅读/观影习惯的自我追踪者。
常规风险
- 高频请求可能导致 IP 临时封禁
- 抓取行为存在违反豆瓣 ToS 的理论风险
- RSS 链接为公开信息,若用户 ID 泄露则收藏动态可被第三方获取