Local GLM OCR with llama.cpp on AIPC(no API Key)

🔍 本地 AI 图像文字识别,隐私零泄露

Windows 本地图像 OCR,基于 GLM-OCR 模型与 Intel iGPU 加速,零云端依赖,支持中英混排文本识别。

收藏
2.9k
安装
1.1k
版本
1.0.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

local-image-ocr-aipc 是一个专为 Windows 设计的本地图像文字识别技能,采用 ggml-org/GLM-OCR-GGUF 模型(Q8_0 量化)搭配 llama.cpp Vulkan 推理引擎,实现完全离线的 OCR 功能。用户可通过上传图片或指定本地路径,提取发票、收据、合同、名片、证件、表格等各类文档中的文字内容。

执行流程
1. Pre-flight 环境检查:自动检测工作目录、llama-cli 二进制文件(要求 build ≥ b8400)及模型文件完整性

2. Step 1 引擎安装:从 GitHub Releases 下载 llama.cpp Vulkan 预编译版本(约 50-100 MB)

3. Step 2 模型下载:通过 HuggingFace 或 ModelScope 拉取 GLM-OCR 主模型(~950 MB)与视觉投影层(~484 MB),支持断点续传;无 Python 环境时自动静默安装 Miniforge

4. Step 3 推理识别:调用 llama-cli 执行 Vulkan 加速推理,支持本地路径或 OpenClaw 临时文件两种输入模式,输出保留原始排版的文本

显著优点

  • 完全本地离线:零云端 API 调用,数据不出本机,适合敏感文档处理
  • Intel iGPU 优先:Vulkan 后端自动调用核显加速,无需高端独显
  • 中英混排优化:GLM-OCR 针对中文场景专项训练,复杂排版识别准确率高
  • 自动化依赖管理:自动检测/安装 Python 环境与推理引擎,降低技术门槛
  • 断点续传机制:1.5 GB 模型下载支持中断恢复

潜在缺点与局限性

  • Windows 独占:依赖 PowerShell 与 Win32 路径处理,无法跨平台运行
  • 显存门槛:Q8_0 量化模型需约 2-3 GB VRAM,核显共享内存场景可能触发 OOM
  • 首次部署耗时:模型下载 + 环境初始化需 5-20 分钟(视网速)
  • 无精细化微调:通用模型对特定行业版式(如医疗票据、海关报关单)可能漏检
  • 长图/多栏处理:12000 token 上下文限制,超宽表格可能截断

适合人群

  • 企业合规敏感岗位(财务、法务、人事)需处理发票、合同、身份证等私密文档
  • Intel 轻薄本用户希望利用闲置核显算力,避免云端订阅费用
  • 离线环境工作者(保密机房、野外作业)需要可靠的本地 OCR 方案
  • 隐私极客拒绝任何云端图像上传

常规风险

  • 二进制执行风险:自动下载并运行 GitHub 发布的 llama-cli.exe,需信任 ggml-org/llama.cpp 供应链
  • 静默安装行为:无 Python 时会自动安装 Miniforge 至用户目录,虽无需管理员权限但属侵入性操作
  • 驱动依赖:Vulkan 推理要求较新的 Intel 核显驱动,老旧设备可能回退至 CPU 模式导致速度骤降
  • 模型来源固定:仅支持官方 GGUF 格式,无法直接切换至更新/更强的多模态模型

Local GLM OCR with llama.cpp on AIPC(no API Key) 内容

手动下载zip · 6.9 kB
SKILL.mdtext/markdown
请选择文件