vector-memory-hack

⚡ 零依赖极速语义内存检索

AI 增强榜 #25

OpenClaw Agent 开源的零依赖轻量级语义搜索工具,基于 TF-IDF + SQLite 实现 <10ms 内存检索,为 AI Agent 节省 90%+ Token 消耗。

收藏
13.8k
安装
3.5k
版本
v1.0.3
CLS 安全性认证2026-04-30
点击查看完整报告 >

使用说明

核心用法

Vector Memory Hack 是一款专为 AI Agent 设计的轻量级语义搜索技能,解决 Agent 读取大型 MEMORY.md 文件时的 Token 浪费问题。用户通过 python3 scripts/vector_search.py --rebuild 构建索引,随后使用 vsearch "查询词"--search 参数执行检索,系统返回 Top-K 最相关的文档片段及相似度分数。该技能支持增量更新(--update)、统计查询(--stats),并可集成到 Agent 工作流中作为任务前置步骤,确保 Agent 在执行任务前获取精准上下文。

显著优点

极致轻量:零外部依赖,仅使用 Python 标准库(os、sqlite3、json、re、math),无需 PyTorch 或 Transformers,部署即开即用。极速响应:<10ms 搜索延迟,索引速度约 50 sections/秒,内存占用仅 ~10KB/section。Token 高效:从读取 3000+ Token 的完整文件缩减至 3-5 个相关片段,降低 90% 以上 Token 消耗。多语言支持:内置 CZ/EN/DE 等多语言分词与停用词处理。边缘友好:适用于 VPS、边缘设备等资源受限场景,无 GPU 需求。

潜在缺点与局限性

精度天花板:TF-IDF 基于词频统计,无法捕捉深层语义关系,复杂查询的准确性显著低于 sentence-transformers 或 OpenAI Embeddings 等嵌入方案。规模限制:设计目标为 1000 级文档片段,超大规模场景(10k+ 文档)性能与存储效率不及 ChromaDB 等专业向量数据库。无实时同步:依赖手动或定时触发 rebuild/update,非实时索引。定制门槛:停用词、相似度算法等需直接修改源码,缺乏配置化接口。

适合的目标群体

  • 资源受限的 AI Agent 开发者:需在低配置 VPS、边缘设备或离线环境部署语义搜索
  • 快速原型验证团队:追求分钟级部署,不愿等待重型依赖安装
  • Token 成本敏感用户:高频调用场景下需严格控制上下文长度
  • 多语言文档处理者:需支持中欧德等多语种的轻量检索方案

使用风险

数据一致性风险:增量更新依赖哈希检测,极端情况下可能遗漏变更;建议定期全量重建索引。并发访问限制:SQLite 在并发写入时可能触发 "Database locked" 错误,多 Agent 共享场景需加锁机制。路径配置风险MEMORY_PATHVECTORS_DIR 为硬编码配置,误配可能导致索引失败或数据散落。精度预期管理:用户若误将其与神经网络嵌入方案等同,可能对搜索结果相关性产生误判。

安全解读

核心用法

Vector Memory Hack 是一款针对AI Agent内存系统设计的超轻量级语义搜索工具,通过TF-IDF+余弦相似度实现毫秒级上下文检索。核心工作流分为三步:首先运行 python3 scripts/vector_search.py --rebuild 解析MEMORY.md并构建索引;随后通过 vsearch "查询词"--search 参数执行语义搜索;最后根据返回的top-k结果(含相似度分数)获取相关上下文。

显著优点

1. 零依赖部署:仅使用Python标准库(sqlite3/json/re/math),无需PyTorch/Transformers,杜绝供应链攻击
2. 极致性能:<10ms搜索延迟,索引速度~50章节/秒,内存占用仅~10KB/章节

3. Token高效:从3000+ tokens全文缩减至3-5个相关章节,大幅降低API调用成本

4. 多语言支持:内置英文/捷克语/德语停用词处理,适配国际化场景

5. 增量更新:基于哈希检测的--update模式,避免全量重建索引

局限性与缺点

1. 语义精度天花板:TF-IDF基于词频统计,无法理解深层语义(如"苹果"公司vs水果),准确率低于神经网络嵌入模型
2. 规模化瓶颈:文档量超过数千篇时,稀疏向量效率下降,需迁移至ChromaDB等专用向量数据库

3. 无实时同步:依赖手动触发更新,MEMORY.md频繁变更时可能检索过期内容

4. 路径硬编码:默认路径/root/.openclaw/workspace/MEMORY.md缺乏环境变量配置,跨平台移植需改源码

适合人群

  • 资源受限场景:边缘设备、低配置VPS、无GPU环境
  • 快速原型开发:需要即时部署、拒绝复杂依赖链的MVP项目
  • Agent开发者:构建本地优先、隐私敏感的AI Agent记忆系统
  • 离线环境:完全断网运行的安全敏感系统

常规风险

1. T3来源风险:个人开发者(mig6671)维护,虽经代码审计无恶意,但存在账户被入侵或恶意更新可能,建议Fork后自行维护
2. 文件系统边界:默认固定路径可能引发路径不存在错误,需手动配置;建议添加目录遍历防护(../过滤)

3. 数据完整性:SQLite数据库锁竞争可能导致并发访问失败,多进程场景需额外处理

4. 查询注入:当前实现已使用参数化SQL查询,但建议对用户输入增加长度限制和特殊字符过滤

vector-memory-hack 内容

scripts文件夹
手动下载zip · 12.3 kB
vector_search.pytext/plain
请选择文件