核心用法
Ad Test Designer 是一款专注于付费广告 A/B/n 测试与增效测试设计的专业工具。其核心功能涵盖两大模式：测试设计模式用于规划新实验，包括构建可证伪假设、设计变量隔离的变体矩阵、确定主/次指标与护栏指标，以及基于统计功效进行样本量与测试周期规划；结果解读模式用于分析已完成实验，读取效应量、置信区间、统计显著性标志、实际业务显著性标志及护栏状态。
使用时只需提供测试目标（如"设计两个落地页 hero 变体的 A/B 测试"）、基准转化率、期望检测的最小提升幅度（MDE），或上传测试结果 CSV 文件。工具支持直接响应（direct-response）、潜客开发（prospecting）、增量利润（incremental-profit）三种 ROAS 画像，并自动应用双比例 z 检验、Mann-Whitney U 检验或 Bootstrap 置信区间等统计方法。
显著优点
1. 统计严谨性：严格区分统计显著性（statistical flag）与实际业务显著性（practical-effect flag），避免 p-hacking 和事后假设修改；内置多重比较校正与序贯检验控制。
2. 决策安全边界：明确区分"统计助手输出"与"业务决策"，要求必须存在预设的决策Owner和预提交的行动规则才能给出推荐，否则返回 decision: UNDECIDED，防止自动化决策风险。
3. 变量隔离设计：强制要求每个变体只改变一个变量（标题、钩子、主图、CTA、落地页），确保胜者可归因，符合科学实验的黄金标准。
4. 数据来源中立：支持纯手动数据输入，不依赖特定广告平台 API，用户可导出任意平台（Google Ads、Meta 等）的自有数据进行分析，降低 vendor lock-in。
5. 完整文档链路：与 ad-creative-builder（生成变体）和 paid-measurement-loop（追踪已上线改动）形成技能闭环，支持测试全生命周期管理。
潜在缺点与局限性
1. 不生成创意变体：明确声明不负责制作广告素材，需配合 ad-creative-builder 使用，增加了多技能协作的认知负担。
2. 依赖用户输入质量：样本量计算需要用户提供准确的基准转化率、流量数据和 MDE 假设，若输入偏差会导致设计失效。
3. 统计方法局限：主要为频率学派方法（z 检验、功效分析），未明确支持贝叶斯实验设计或 Thompson 采样等现代在线学习算法。
4. 地理相关性低：元数据显示 geo-relevance: low，可能未针对不同市场的季节性、文化差异做特殊适配。
5. 护栏规则前置要求：护栏指标的停止规则必须在测试前声明，事后发现的异常无法强制止损，需人工介入。
适合的目标群体
- 增长营销经理：需要系统化验证广告创意、落地页改动的实际效果
- 数据驱动的产品营销人员：希望用统计学语言与数据科学团队对话
- 中小广告代理商：缺乏专职数据科学家，需要标准化测试框架服务多个客户
- 电商运营团队：频繁进行促销页面、结账流程的 A/B 测试优化
- 内部营销效能团队：需要建立可复用的实验文化与知识库
常规使用风险
1. 性能风险：样本量计算可能需要调用外部 Python 脚本（experiment.py），若未正确配置 CLAUDE_PLUGIN_ROOT 环境变量会导致计算失败。
2. 数据依赖项：结果解读完全依赖用户手动导出的 CSV 数据质量，若导出时存在归因窗口不一致、重复计数或格式错误，会导致误判。
3. 版本漂移风险：技能版本为 19.0.0，但营销平台 API（Google Ads、Meta）频繁变更，手动导出流程可能因平台 UI 更新而失效。
4. 决策延迟风险：严格的 Owner + 预提交规则可能导致测试完成后无法立即行动，需等待审批，在追求速度的场景中可能造成机会成本。
5. 记忆持久化风险：结果保存需用户主动确认，若忘记保存则无法形成测试知识库，历史设计难以追溯复用。