核心用法
本技能为家庭实验室环境提供完整的AI推理集群管理能力，支持2-3层异构硬件架构：本地主力GPU（Ollama）、远程辅助GPU（llama.cpp/Ollama）、NAS/CPU节点（轻量模型）。通过LiteLLM代理提供统一OpenAI兼容API。
健康监控：配置化端点检查，支持分级超时策略，区分HEALTHY/DEGRADED/DOWN状态。
专家MoE路由：基于任务类型（code/reason/chat/vision/fast/embed）智能选择最优模型，含健康检查与降级机制。
部署关键：大型模型须用Docker Volume而非绑定挂载（Windows宿主的gRPC-FUSE/9P桥接会导致GPU张量加载挂死）；GPU容器必须串行启动，避免CUDA初始化死锁。
自动恢复：SSH检测→Docker重启→RDP唤醒的分级恢复流程，强调凭据安全管理。
显著优点
- 实战验证：来自Lumina Homelab的生产环境经验，非理论方案
- 异构兼容：同时支持Ollama与llama.cpp生态，降低技术锁定
- 性能优化：GPU内存规划模板、CUDA死锁规避、Windows Docker大文件I/O绕过方案
- 生产级细节：LiteLLM的
/health/liveliness陷阱、llama.cpp的openai/前缀要求等踩坑记录
潜在局限
- 环境依赖：主要针对NVIDIA CUDA生态，AMD/Intel GPU支持未提及
- Windows-centric：Docker Volume方案针对Windows宿主优化，Linux用户可能需调整
- 网络拓扑：预设家庭局域网场景，跨地域/云边混合场景未覆盖
- 凭据管理：仅给出原则性建议（Vault），无具体集成代码
适合人群
- 拥有多GPU家庭服务器的AI重度用户
- 希望自建类OpenAI API替代品的开发者
- 已遇CUDA死锁、Windows Docker I/O卡顿等问题的 troubleshooting 需求者
- 具备基础Docker/Linux运维能力的技术爱好者
常规风险
| 风险类型 | 说明 |
|---------|------|
| CUDA死锁 | 并行启动多GPU容器导致，须严格串行化 |
| 数据丢失 | Windows绑定挂载大模型文件可能挂死，须用Docker Volume |
| 凭据泄露 | 恢复脚本若硬编码密码存在暴露风险，须用Vault+stdin |
| 单点故障 | LiteLLM网关本身无高可用设计，需额外考虑 |
| 资源耗尽 | GPU内存规划不当导致OOM，需严格按模板计算 |