核心功能
Airpoint 是一款基于 AI 的 macOS 计算机操控代理,核心能力在于「看屏幕 + 动手操作」的闭环:
- 屏幕感知:通过辅助功能树、截图和视觉定位实时理解界面状态
- 自主执行:模拟鼠标点击、键盘输入、滚动拖拽、应用启动、窗口管理等操作
- 任务闭环:接收自然语言指令 → 规划动作 → 执行 → 验证结果,支持最长 5 分钟的同步任务
典型使用场景包括:「打开 Safari 访问 github.com」「读取 Slack 通知」「在系统设置中开启深色模式」「查找并总结特定邮件」等。
显著优势
1. 端到端自动化:无需脚本编写,纯自然语言驱动,大幅降低 macOS 自动化门槛
2. 多模态感知:结合 accessibility API 与视觉模型,适应标准控件和非标准 UI
3. 灵活调用模式:支持同步等待(默认)、异步后台(--no-wait)、隐藏面板(--hidden)三种执行方式
4. 扩展能力:除 AI 操控外,还集成手部追踪、系统状态监控、截图捕获等辅助功能
潜在局限与风险
| 维度 | 说明 |
|------|------|
| **隐私敏感** | 屏幕内容可能上传至配置的云端模型(OpenAI/Anthropic/Google 等),需确认本地模型选项 |
| **权限集中** | 需授予「屏幕录制」「辅助功能/输入监控」「相机」等高危系统权限 |
| **可靠性边界** | 复杂动态界面、权限弹窗、网络延迟场景可能出现识别或执行失败 |
| **平台锁定** | 仅支持 macOS,且需同时运行 Airpoint GUI 应用和 CLI 工具 |
适合人群
- 追求效率的 macOS 高级用户,希望用自然语言替代重复性 GUI 操作
- 自动化测试、RPA 场景开发者,需要快速验证 UI 交互流程
- 无障碍辅助需求用户(结合手部追踪功能)
安全建议
- 优先配置本地模型以减少数据外传;若必须用云端,确认提供商合规性
--hidden模式仅用于经充分测试的可信任务,避免后台误操作- 定期审查「系统设置 → 隐私与安全 → 辅助功能/输入监控」中的授权应用列表