surreal-sync

🔄 多源数据实时同步至 SurrealDB

SurrealDB官方数据迁移同步工具,支持7种数据源的全量与CDC增量同步,自动化Schema映射与断点续传。

收藏
4.3k
安装
1.1k
版本
1.2.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

Surreal-Sync 综合评估

核心用法

Surreal-Sync 是 SurrealDB 官方生态中的数据迁移 CLI 工具,采用 Rust 编写,专注于将异构数据源批量或实时同步至 SurrealDB。支持两种同步模式:

  • 全量同步(Full Sync):一次性迁移历史数据,适用于初始化场景
  • 增量 CDC(Change Data Capture):实时捕获源端变更,支持断点续传

支持 7 种数据源:MongoDB(Change Streams)、MySQL/PostgreSQL(触发器或 wal2json 逻辑复制)、Neo4j(时间戳追踪)、Kafka(消费者订阅+去重)、JSONL(批量导入)。CLI 采用统一命令模式 surreal-sync from <source> <command>,配置参数标准化,降低多源接入成本。

显著优点

1. 多源覆盖全面:关系型、文档型、图数据库、流平台、文件格式一网打尽
2. 自动化程度高:自动推断 Schema、映射主键为 Record ID、抽取关系生成图边

3. 生产级特性:可配置批量并行度、内置断点续传、Kafka 消息去重

4. 官方生态背书:属 surreal-skills 集合,上游仓库为 surrealdb/surreal-sync

潜在局限

  • CDC 机制依赖源端改造:MySQL/PostgreSQL 触发器方案需创建触发表,wal2json 需数据库 superuser 权限并安装插件
  • Neo4j 仅支持时间戳追踪:非原生 CDC,存在漏变更窗口风险
  • SurrealDB 版本锁定:作为官方工具,升级兼容性需跟随 SurrealDB 主版本

适合人群

  • 计划迁移至 SurrealDB 的存量系统架构师
  • 需要构建实时数仓或数据湖的技术团队
  • 已采用 Kafka 事件流,希望下沉至图数据库的工程师

常规风险

  • 凭证暴露:CLI 参数明文传输密码,建议配合环境变量或保密管理工具
  • 写放大风险:自动关系抽取可能在稠密图中产生大量边写入
  • CDC 延迟堆积:高并发场景下需监控 Kafka lag 或数据库复制槽积压
  • Schema 漂移:源端 DDL 变更需手动重配映射,无自动 Schema 演化

surreal-sync 内容

手动下载zip · 1.6 kB
SKILL.mdtext/markdown
请选择文件