核心用法
ClawTV 是一款基于 AI 视觉的 Apple TV 智能遥控器,通过截取电视屏幕画面并调用 Anthropic Claude 视觉 API 进行分析,实现对任意应用的自主导航。核心工作流为感知-决策-执行循环:截图 → AI 分析 UI 状态 → 决策下一步操作 → 发送遥控指令 → 验证结果,最多执行 20 步。
主要使用模式:
| 模式 | 命令 | 特点 | 成本 |
|:---|:---|:---|:---|
| **AI 代理模式** | `clawtv.py do "目标"` | 自然语言指令,全自动导航 | 每步 $0.01-0.02,典型任务 $0.05-0.20 |
| **Plex 直连** | `clawtv.py plex play "标题"` | 绕过视觉循环,API 直接控制 | 约 $0.02,无视成本 |
| **手动遥控** | `clawtv.py cmd/type/launch` | 精确控制,零外部依赖 | 免费 |
截图方案: QuickTime AirPlay 镜像(默认,~0.6s)→ Xcode 设备调试(DRM 兼容,~2.5s)→ Lookout 专用应用(最快 ~0.1s,仅限自身 UI)。注意 DRM 应用(Netflix/Disney+/HBO Max)会强制终止 QuickTime 镜像。
显著优点
1. 自然语言交互:"打开 Netflix 搜索怪奇物语"即可执行复杂多步导航
2. 应用无关性:不依赖特定应用的 API,理论上支持 tvOS 任何应用
3. 成本优化策略:自动识别 Plex 目标走直连通道;Haiku 4.5 常规步骤自动升级到 Sonnet 4.5 脱困;滑动窗口仅保留最近 2 张截图;图像压缩至 800px JPEG q50;系统提示缓存复用
4. 混合架构:AI 模式用于探索性任务,手动命令用于确定性操作,Plex 直连用于常用媒体播放
5. 完全本地优先:手动模式零网络传输,适合隐私敏感场景
潜在缺点与局限性
| 问题 | 影响 | 缓解方案 |
|:---|:---|:---|
| **API 成本不可控** | 复杂任务可能消耗 20 步,$0.10-0.20/次;代理卡住会持续消耗 | 设置 Anthropic 账户消费限额;优先使用手动/Plex 模式 |
| **DRM 内容捕获限制** | QuickTime 方法对 Netflix/Disney+ 等显示黑屏或断连 | 强制使用 Xcode 方法(更慢)或完全绕过视觉 |
| **延迟问题** | 每步 1-3 秒(截图+API+执行),完整搜索播放流程可能 10-30 秒 | Plex 直连可降至 2-3 秒 |
| **截图隐私泄露** | 画面包含观看内容、搜索词、账户信息,上传至 Anthropic | 手动模式不上传;定期清理 `~/.clawtv/screenshots/` |
| **认证信息明文存储** | Apple TV 配对凭证、Plex Token 以明文存于 `~/.clawtv/config.json` | 检查文件权限 600;避免配置远程 Plex 访问 |
| **单点故障** | 完全依赖 Anthropic API 可用性与 Claude 视觉理解能力 | 手动命令作为降级方案 |
适合人群
- 智能家居重度用户:已将 Apple TV 作为核心娱乐中枢,愿意投入时间优化工作流
- Plex 自建媒体库用户:直连模式提供最佳体验,AI 模式作为补充
- 无障碍需求用户:语音/文字控制替代物理遥控器复杂导航
- 开发者与技术爱好者:理解 API 成本、能接受调试配置过程
- 不适合:对延迟敏感(如游戏)、担心持续订阅成本、或不愿处理配置复杂度的普通用户
常规风险
1. 账户安全风险:Plex Token 泄露可导致媒体库完全暴露;建议仅配置本地 Plex 地址,避免公网 URL
2. API 密钥泄露:Anthropic 密钥若提交至版本控制或共享环境,可能导致盗刷
3. 截图数据残留:本地截图目录累积观看历史,需定期清理
4. 网络中间人:Apple TV 控制基于本地 Companion 协议,但若网络被入侵可遭远程操控
5. 服务依赖:Claude API 变更或下线将禁用核心 AI 功能(保留手动模式)