Vector Memory Hack

零依赖极速语义搜索,节省90% token

零依赖轻量级语义搜索工具,基于TF-IDF+SQLite实现<10ms内存文档检索,为AI代理节省90%以上token消耗。

收藏
8.3k
安装
3k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Vector Memory Hack 是一款专为AI代理设计的轻量级语义搜索工具,解决传统代理读取完整MEMORY.md文件造成的token浪费问题。核心流程包括:使用--rebuild构建TF-IDF向量索引,通过--search执行余弦相似度查询,返回top-k相关段落及相似度分数。支持增量更新(--update)和统计查询(--stats),配套CLI包装器vsearch便于集成。

显著优点

  • 极致轻量:纯Python标准库+SQLite,零外部依赖,无PyTorch/Transformers负担
  • 极速响应:<10ms搜索1000个向量段落,索引速度约50段/秒
  • 多语言支持:内置CZ/EN/DE等多语种分词与停用词处理
  • token效率:从读取3000+tokens降至仅需3-5个相关段落
  • 资源友好:每段约10KB内存,适合边缘设备/VPS低内存环境

潜在局限

  • 精度天花板:TF-IDF基于词频统计,无法理解深层语义(vs神经网络嵌入)
  • 词汇盲区:未登录词/同义词/缩写匹配能力有限
  • 规模瓶颈:文档量达万级时性能劣于专业向量数据库(ChromaDB/Milvus)
  • 无动态学习:无法根据用户反馈优化排序,需手动调整停用词或相似度算法

适合人群

  • 快速原型开发者:需分钟级部署语义搜索
  • 资源受限场景:无GPU、低RAM的VPS/边缘设备
  • token敏感型AI代理:希望大幅降低上下文读取成本
  • 多语言轻量应用:需支持中欧德等语种的简单语义检索

常规风险

| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 索引陈旧 | 源文件更新后未重建索引导致检索失效 | 任务前自动执行`--update`或`--rebuild` |
| 数据库锁 | 并发访问SQLite产生锁定错误 | 串行化访问或删除vectors.db重建 |
| 零分结果 | 词汇表未覆盖查询词或索引损坏 | 检查分词逻辑,定期重建索引 |
| 安全边界 | 检索结果可能包含敏感配置(如SSH密钥路径) | 对MEMORY.md实施访问控制,搜索结果过滤敏感字段 |

Vector Memory Hack 内容

暂无文件树

手动下载zip · 12.3 kB
contentapplication/octet-stream
请选择文件