synapse

🧠 P2P语义搜索文件共享网络

基于BitTorrent和向量嵌入的P2P语义文件共享网络,支持内容相似度搜索。

收藏
9.1k
安装
2.4k
版本
0.1.0
CLS 安全性认证2026-08-10
点击查看完整报告 >

使用说明

核心用法

Synapse是一个面向Agent-to-Agent场景的点对点文件共享协议,融合了传统BitTorrent分发能力与语义向量检索技术。用户通过uv工具链管理Python依赖,无需手动配置虚拟环境。核心工作流包含四个环节:启动seeder守护进程、share命令发布文件(自动生成magnet链接并提取内容向量)、search命令基于自然语言查询检索相似内容、download命令通过magnet链接受获文件。

显著优点

  • 语义检索突破:将FAISS向量检索嵌入DHT网络,支持"kubernetes deployment guide"这类概念搜索,而非依赖精确文件名匹配
  • 无摩擦部署uv run实现依赖自管理,避免pip/conda环境地狱
  • 去中心化架构:默认接入HiveBrain tracker,同时支持自定义tracker,无单点故障
  • 内容寻址:基于文件内容哈希(btih)而非位置寻址,天然抗审查

潜在局限

  • 生态成熟度:0.1.0版本处于早期阶段,tracker基础设施依赖第三方(hivebraintracker.com)
  • Python依赖重量:sentence-transformers和libtorrent带来较大体积,边缘设备部署受限
  • 隐私暴露风险:分享的文档内容向量会上传至DHT,敏感信息可能通过语义反推泄露
  • 搜索冷启动:网络规模较小时语义搜索召回率有限

适合人群

  • 科研团队需要在分布式节点间共享非结构化知识库
  • AI Agent开发者构建去中心化记忆/知识网络
  • 开源社区替代中央化文档托管(如Git LFS + 语义检索)

常规风险

  • 依赖供应链uv install.sh的curl管道执行存在中间人攻击面
  • tracker中心化:默认tracker宕机将导致新节点发现失败(虽可配置备用)
  • 内容合规:BitTorrent协议在某些网络环境被QoS限速或封锁
  • 向量隐私:内容嵌入可能泄露文档主题领域和敏感术语分布

安全解读

核心用法

Synapse 是一个专为 Agent 设计的 P2P 文件共享 Skill,将传统 BitTorrent 协议与向量语义搜索相结合。用户通过 uv run python client.py 命令行工具完成全流程操作:启动 seeder start 创建后台种子守护进程,使用 share 命令分享文件并自动生成 magnet 链接,文件内容会被提取前 8000 字符生成向量嵌入并注册到 Tracker。搜索时通过 search --query 输入自然语言描述,系统返回语义相似度排序的结果。下载时直接使用 magnet 链接调用 download 命令即可。

显著优点

技术融合创新:首次将语义搜索引入 P2P 文件共享场景,突破传统基于文件名的检索限制,支持"kubernetes deployment guide"这类内容语义匹配。

安全机制完备:采用 ML-DSA-87 后量子签名算法进行身份验证,内置下载内容威胁扫描(检测提示词注入、数据外泄等模式),在 P2P 场景下提供罕见的安全保障。

分布式架构:基于 BitTorrent DHT 网络,不依赖中心化存储,支持离线协作与抗审查场景,适合知识库碎片(Memory Shard)的分布式管理。

ML 生态整合:深度集成 HuggingFace 模型库,使用 sentence-transformers 生成高质量文本嵌入,开箱即用。

潜在缺点与局限性

网络安全风险:Tracker 通信使用明文 HTTP(非 HTTPS),文件元数据与向量嵌入存在中间人窃取风险;需连接外部服务器 hivebraintracker.com,存在单点依赖。

资源占用较重:依赖 PyTorch、Transformers 等重型 ML 库(59 个依赖包),首次启动需下载 HuggingFace 模型,对边缘设备不友好。

权限管理粗放:Unix Socket 设置为全局可读写(666 权限),任意用户可连接控制种子守护进程;后台子进程缺乏自动清理机制,可能残留运行。

信任模型风险:加载模型时启用 trust_remote_code=True,存在远程代码执行潜在攻击面。

适合的目标群体

  • 多 Agent 协作团队:需要在多个 AI Agent 实例间共享知识库、记忆片段的技术团队
  • 分布式研究组织:追求数据主权、希望避免中心化云存储的科研或开源社区
  • 边缘计算场景:需要在弱网环境下进行内容发现与同步的物联网或边缘设备开发者
  • 隐私敏感用户:对商业云存储有顾虑,偏好 P2P 架构的数据管理方案

常规使用风险

网络暴露面:加入 BitTorrent DHT 网络会暴露 IP 地址和共享行为;HTTP Tracker 通信可被被动监听分析。

持久化进程风险:种子守护进程在后台持续运行,占用端口 6881(可配置),若 Agent 异常退出可能残留僵尸进程。

文件系统风险:下载文件时文件名清理逻辑存在路径遍历潜在风险;大文件下载可能耗尽存储空间。

依赖供应链风险:PyTorch/libtorrent 等原生扩展库可能存在未修复 CVE,需持续关注安全更新。

模型供应链风险:HuggingFace 模型下载依赖网络可达性,模型文件完整性依赖平台签名而非本地校验。

synapse 内容

src文件夹
synapse文件夹
手动下载zip · 54.6 kB
__init__.pytext/plain
请选择文件