Stable Diffusion

核心用法

Stable Diffusion 技能是一套完整的 AI 图像生成技术栈，支持从入门到专家的全流程创作。核心能力分为四大模块：

1. 模型与工具选择

• SD 1.5：生态最成熟的 512×512 基础模型，LoRA 和插件支持最丰富
• SDXL 1.0：1024×1024 商业级画质，双 CLIP 编码器理解力更强
• Flux.1：Black Forest Labs 新一代模型，最高 2048×2048，指令遵循能力顶尖
• 前端工具：SD WebUI 适合快速上手，ComfyUI 节点式工作流适合复杂管线搭建

2. 提示词工程系统
采用结构化模板：主体描述 + 画质修饰 + 风格标签 + 光影氛围 + 镜头语言，配合权重语法 (keyword:1.3) 精细控制。提供通用负向提示词库过滤低质输出。

3. 采样与参数优化
推荐 DPM++ 2M Karras（20-30 步）作为通用方案，UniPC/LCM 实现极速采样。CFG Scale 5-12 控制提示词强度，Denoising 0.3-0.7 调节图生图变化幅度。

4. 高级控制技术

• LoRA 训练：20-50 张图 + kohya_ss 工具链，rank 32、学习率 1e-4
• ControlNet：Canny/OpenPose/Depth 实现边缘/姿态/空间精准控制
• IP-Adapter：以图生图的高级风格迁移方案

显著优点

| 维度 | 优势 |

|------|------|

| **生态完整性** | 从 SD1.5 到 Flux 全版本覆盖，工具链成熟 |

| **可控性** | 权重语法 + ControlNet + LoRA 三层精度调节 |

| **本地化部署** | 6GB 显存即可运行，数据隐私自主可控 |

| **成本效益** | 开源免费，云端 AutoDL/RunPod 弹性扩展 |

| **工作流复用** | ComfyUI JSON 工作流可导出分享，团队协作高效 |

潜在局限

• 硬件门槛：SDXL/Flux 需 12GB+ 显存，Mac MPS 后端性能受限
• 学习曲线：节点式工作流和 LoRA 训练需理解底层原理
• 版权风险：商用需确认模型/LoRA 授权协议，避免法律纠纷
• 内容合规：NSFW 过滤依赖用户自律，平台政策差异大
• 结果不稳定性：随机种子、采样器选择对最终效果影响显著

适合人群

| 层级 | 典型用户 | 建议切入点 |

|------|---------|-----------|

| 初学者 | 设计师、爱好者 | SD WebUI + Euler a 快速出图 |

| 进阶者 | 视觉创作者、自媒体 | ComfyUI 工作流 + LoRA 角色定制 |

| 专业用户 | 游戏/影视工作室 | SDXL + ControlNet 管线 + 自训模型 |

| 技术开发者 | ML 工程师、研究员 | 底层采样算法优化、新架构适配 |

常规风险

| 风险类别 | 具体表现 | 缓释建议 |

|---------|---------|---------|

| **模型安全** | 下载第三方模型/LoRA 可能含恶意代码 | 仅使用 HuggingFace/Civitai 官方源，校验 SHA256 |

| **隐私泄露** | 云端部署训练数据外泄 | 敏感素材优先本地部署，云端启用加密存储 |

| **版权侵权** | 训练集含未授权素材、生成图商用纠纷 | 使用 CC0/商用授权数据集，生成内容人工审核 |

| **输出有害** | Deepfake、虚假信息生成 | 建立内容审核流程，关键场景人工复核 |

| **依赖断裂** | ComfyUI/WebUI 更新导致工作流失效 | 版本锁定 + 工作流文档化 + 定期备份 |

> 最佳实践：从 SD 1.5 + WebUI 入门，逐步迁移至 SDXL + ComfyUI，建立个人 LoRA 资产库，形成可复用的工业化生产管线。

核心用法

本技能作为Stable Diffusion领域的系统性知识库，主要服务于两类场景：一是快速查询，用户可通过对话获取特定技术问题的精准解答，如采样器选型、CFG参数调优、ControlNet控制类型对比等；二是工作流设计，技能提供完整的节点式思维框架，帮助用户规划从模型选择、提示词构建到后期处理的完整创作管线。

技能内容采用分层架构：基础层覆盖SD 1.5至Flux.1的模型特性与硬件适配方案；工具层详解WebUI的插件生态与ComfyUI的可视化工作流；进阶层深入LoRA训练参数与IP-Adapter风格迁移等高级技术。所有知识点均附带具体数值建议（如network_rank=32、learning_rate=1e-4），可直接落地执行。

显著优点

权威性突出：所有技术引用均指向GitHub官方仓库（AUTOMATIC1111/WebUI 150k+ Stars、ComfyUI 60k+ Stars），避免二手信息失真。结构化极致：表格化呈现模型版本、采样器、硬件配置等关键决策矩阵，大幅降低学习曲线。实战导向：提供可直接复制的提示词模板（含正负向通用模板）、权重语法示例及训练参数配置，减少试错成本。覆盖全面：从6GB显存入门方案到RTX 4090高端配置，从实时预览Turbo模型到商业级SDXL出图，满足全梯队用户需求。

潜在缺点与局限性

时效性风险：SD生态迭代极快，Flux.1已挑战SDXL地位，技能版本冻结后可能滞后于最新技术动态。无执行能力：纯文档型设计意味着用户仍需自行完成环境搭建（conda配置、模型下载、依赖冲突解决），技能无法代劳复杂部署。硬件门槛隐性：虽标注显存需求，但未充分预警Windows环境下的CUDA兼容性问题及模型文件体积（单模型2-7GB）对存储的压力。商业合规模糊：未明确说明SD 1.5/SDXL/Flux等模型的许可证差异（如Flux非商用限制），存在用户误用风险。

适合目标群体

AI绘画进阶者：已跑通基础出图，希望系统掌握提示词工程与参数调优的半专业用户。技术向创作者：偏好ComfyUI节点式工作流、有LoRA训练定制需求的开发者与设计师。硬件选型决策者：正在规划AI工作站配置、需权衡显存投入与产出比的工作室负责人。教育培训场景：可作为AIGC课程的标准化教学大纲，结构清晰且 citation 完整。

常规使用风险

性能风险：SDXL与Flux模型对显存和推理速度要求严苛，低配强制运行将导致OOM崩溃或分钟级单图生成。依赖项风险：WebUI插件生态庞杂，ControlNet与ADetailer等扩展的版本错位易引发启动失败。版权风险：模型训练数据含潜在版权争议内容，商业出图需配合LoRA清洗与输出审核。成本风险：云端租用（AutoDL/RunPod）按小时计费，未优化工作流可能导致隐性支出累积。