核心用法
Airpoint 是一款 macOS 本地 AI 计算机使用代理,通过 airpoint CLI 接收自然语言指令,实现对 Mac 的全方位操控。核心能力包括:
1. 自然语言任务执行:airpoint ask "指令" 是最常用的命令,支持同步等待(默认5分钟超时)和异步执行(--no-wait),以及后台隐藏模式(--hidden)
2. 屏幕感知与交互:结合无障碍树、截图和视觉定位,AI 能够识别屏幕内容、定位 UI 元素、执行点击、输入、滚动、拖拽等操作
3. 多步骤工作流:可串联复杂任务,如"打开邮件→找到 John 的最新邮件→总结内容"
4. 辅助功能:截图(airpoint see)、系统状态监控(airpoint vitals)、手势追踪控制光标、设置管理
显著优点
- 端到端自动化:无需编写脚本,自然语言即可驱动复杂跨应用操作
- 本地运行:AI 代理在本地执行,数据默认不离开机器(除非模型提供商要求)
- 深度系统集成:利用 macOS 无障碍 API,可操作几乎所有原生及第三方应用
- 双向验证:AI 能感知屏幕变化并验证操作结果,具备自我纠错能力
潜在局限与风险
功能局限:
- 仅限 macOS 平台,不支持 Windows/Linux
- 依赖 Airpoint 桌面应用持续运行
- 复杂或模糊指令可能需要多次尝试
- 对高度定制化界面或非标准 UI 元素识别可能受限
安全风险:
- 需授予系统级无障碍权限和屏幕录制权限,攻击面较大
- AI 代理可执行敏感操作(输入密码、操作财务应用等),存在误操作和指令注入风险
--hidden模式下的后台自动化更难被用户察觉- 若模型 API 配置为云端服务,屏幕数据可能外泄
适合人群
- 需要频繁执行重复性跨应用工作流的高级用户
- 无障碍需求用户(配合手势追踪功能)
- 愿意接受权限 trade-off 以换取自动化效率的开发者/生产力极客
- 不适合:对隐私极度敏感、无法授予系统级权限的企业环境
常规风险
| 风险类别 | 说明 |
|---------|------|
| 权限滥用 | 无障碍权限可被用于键盘记录等恶意行为 |
| AI 幻觉 | 指令理解错误可能导致意外操作 |
| 数据泄露 | 屏幕截图经第三方模型 API 传输的风险 |
| 可用性中断 | 依赖的桌面应用崩溃会导致自动化失败 |
建议:在受控环境中充分测试指令,敏感操作前手动确认,优先使用本地模型配置。