核心用法
MLX Local Inference Stack 是专为 Apple Silicon 打造的本地 AI 推理解决方案，通过统一的架构提供文本生成、视觉理解、文本嵌入、语音识别和 OCR 五大核心能力。系统采用双层架构：oMLX 网关负责 LLM/VLM 的高性能推理（OpenAI 兼容 API，localhost:8000/v1），支持连续批处理和 SSD 缓存；Python 库层通过 uv 直接调用 MLX 原生实现，处理嵌入、ASR 和 OCR 任务。
关键使用模式：
- LLM/VLM: 使用 OpenAI 客户端连接本地 oMLX 服务，支持 Qwen3.5-35B 等量化模型
- 嵌入:
uv run --with mlx-lm加载 Qwen3-Embedding 模型 - ASR:
uv run --python 3.11 --with mlx-audio执行语音识别（必须用 Python 3.11 避免 OpenMP 崩溃） - OCR:
uv run --python 3.11 --with mlx-vlm运行 PaddleOCR-VL 视觉模型
显著优点
1. 完全隐私: 数据永不离开本地设备，满足敏感场景合规要求
2. 零延迟网络: 无需云端往返，响应速度显著优于 API 调用
3. 离线可用: 无网络环境下依然可以运行全部 AI 能力
4. Apple Silicon 优化: MLX 框架深度利用 Neural Engine 和统一内存架构
5. 量化高效: 4-8bit 量化模型在消费级 Mac 上可运行 35B 参数大模型
6. API 兼容: oMLX 提供 OpenAI 格式接口，迁移成本低
潜在缺点与局限性
1. 硬件锁定: 仅限 Apple Silicon Mac（M1/M2/M3/M4），无 Intel 或跨平台支持
2. 显存瓶颈: 大模型运行受限于设备统一内存容量，35B 模型需约 20GB
3. Python 版本敏感: ASR/OCR 明确需要 Python 3.11，否则触发 OpenMP 线程崩溃（SIGSEGV）
4. 模型管理负担: 用户需自行下载并维护 ~/models/ 目录中的多 GB 模型文件
5. 生态封闭: 依赖 oMLX 特定格式和 MLX 生态，无法直接使用 HuggingFace 标准格式
6. 功能边界: 缺乏云端模型的持续更新、多模态最新能力和企业级 SLA
适合人群
- 隐私敏感用户: 律师、医生、金融从业者处理机密文档
- 离线工作者: 经常无网络环境的差旅人员、野外研究者
- 低延迟场景: 实时交互应用开发者、本地 Agent 构建者
- Apple Silicon 深度用户: 已拥有大内存 Mac Studio/Book 的专业用户
- 成本规避者: 希望消除 API 调用费用的高频使用者
常规风险
- 模型来源风险: 需确保从可信渠道下载模型，防范供应链投毒
- 量化精度损失: 4-8bit 量化可能影响复杂推理任务准确性
- 系统稳定性: oMLX 服务崩溃需手动重启（
launchctl kickstart） - 存储占用: 完整功能需预留 30GB+ 模型存储空间
- 热管理: 持续推理可能导致 Mac 风扇高转速运行与降频