ML Pipeline

核心功能

ml-pipeline 是一套专为量化交易设计的机器学习全生命周期技能，整合了 8 个历史子技能，覆盖从数据验证、特征工程、模型训练到部署的完整链路。

核心能力矩阵：

| 模块 | 关键功能 |

|------|---------|

| 特征工程 | 数值/类别/时序特征生成、交互项、滚动统计、分箱编码、分数差分 |

| 防泄露机制 | 标签/特征/交叉验证/幸存者偏置四重校验，强制 walk-forward/purged CV |

| AutoML | 多框架支持（Auto-sklearn、TPOT、H2O、Optuna），含时间/资源预算控制 |

| 深度学习 | PyTorch Lightning 集成，优化器选择、学习率调度、正则化策略 |

| 金融强化学习 | 状态/动作/奖励设计，Stable-Baselines3/FinRL 框架对接 |

| 部署支持 | ONNX 导出、特征存储集成（Feast/Tecton）、API 代码生成 |

显著优点：

• 防泄露设计行业领先：强制 embargo gap、purged k-fold、point-in-time 宇宙校验，直接针对量化回测中最致命的 data leakage 问题
• 金融场景深度适配：Sharpe/Sortino 作为优化目标、分数差分（Lopez de Prado）、风险调整奖励函数
• 工程化程度高：8 个即用脚本涵盖数据验证、特征重要性分析、特征存储对接、带回滚的部署
• 灵活性与规范性平衡：既有开箱即用的 AutoML 配置模板，又保留逐层自定义空间

潜在局限：

• 计算资源门槛高：AutoML 搜索与深度学习训练对 GPU/时间预算要求明确，小规模团队可能受限
• 学习曲线陡峭：需同时掌握 ML 原理、金融数据处理、PyTorch Lightning 及强化学习框架
• 实时推理延迟未深度覆盖：虽然提及 online/offline inference，但低延迟生产优化（如 TensorRT、ONNX Runtime 调优）细节不足

适合人群：

• 量化研究团队（PM、策略研究员、ML 工程师）需构建可复现、防过拟合的 ML 策略流水线
• 有 PyTorch/scikit-learn 基础，希望系统整合特征工程与模型训练流程的开发者
• 对金融 RL（自动化交易执行、仓位管理）感兴趣的进阶用户

常规风险：

• 模型失效风险：历史模式崩溃（regime change）时，即使无数据泄露，ML 策略也可能快速衰减
• 自动化陷阱：过度依赖 AutoML 可能忽视领域特征构造，产生"精致但脆弱"的模型
• 部署漂移：特征存储在线/离线不一致、实时数据质量问题可导致生产性能劣化
• 合规与可解释性：虽支持 SHAP，但深度模型在监管场景下的可解释性仍具挑战

---

权威参考：整合 Lopez de Prado《Advances in Financial Machine Learning》核心方法论，及 Hastie《The Elements of Statistical Learning》理论基础。

核心用法

ml-pipeline 是一个专为量化交易研究设计的机器学习全流程整合技能，将特征工程、AutoML、深度学习优化和金融强化学习等八大子技能合并为统一参考。核心工作流遵循标准 ML 生命周期：数据验证 → 特征创建/选择/变换 → 防泄漏检查 → 自动化建模 → 部署导出。

使用时需先明确任务目标（夏普比率、准确率等）、数据规格（品种、周期、采样频率）、泄漏风险点、计算预算和延迟要求。技能提供完整的特征工程模式库（数值交互项、滚动统计、时序滞后、目标编码等）以及严格的防泄漏检查清单，包括标签泄漏、特征泄漏、交叉验证泄漏和生存偏差的识别与修复。

AutoML 模块支持 Auto-sklearn、TPOT、H2O、PyCaret、Optuna 等框架，可配置贝叶斯优化、随机搜索或 Hyperband 策略，输出包含模型、特征管道、评估报告和部署代码的完整产物。深度学习部分集成 PyTorch Lightning，提供 AdamW、OneCycleLR、金融 RL 等量化专用配置。

显著优点

1. 高度整合性：将原本分散的 8 个技能统一，避免版本冲突和接口不一致
2. 领域专业化：针对金融时序数据的特殊需求（点-in-time 约束、生存偏差、自相关）提供专用解决方案
3. 防泄漏体系：内置 Lopez de Prado 提出的清洗 k 折交叉验证、禁运期、组合清洗 CV 等行业最佳实践
4. 自动化程度高：从数据验证到模型部署的全链条脚本覆盖，降低重复开发成本
5. 依赖轻量化：基于 Python 标准库，无外部网络依赖，部署门槛低

潜在缺点与局限性

1. 来源可信度受限：T3 社区开发者发布，缺乏企业级代码签名和长期维护保障
2. 权限边界较宽：申请了 Read/Write/Edit/Bash 等敏感权限，存在意外操作风险
3. 金融 RL 成熟度：金融强化学习领域本身处于研究前沿，生产环境稳定性存疑
4. AutoML 黑箱性：自动化搜索可能产生难以解释的特征组合，监管合规场景受限
5. 计算资源敏感：大规模参数搜索和深度学习训练对 GPU/内存有较高要求

适合目标群体

• 量化研究员和数据科学家：需要快速搭建端到端 ML 交易流水线
• 金融工程团队：寻求标准化特征工程和防泄漏验证框架
• 学术研究者：用于金融机器学习教学、Lopez de Prado 方法论的代码复现
• 策略开发初学者：通过模板化配置理解量化 ML 全流程

不适合：追求完全可解释模型的监管严格场景、无编程基础的终端用户、需要企业级 SLA 的生产系统。

常规使用风险

| 风险类型 | 具体表现 | 缓解措施 |

|---------|---------|---------|

| 文件操作风险 | `rglob('*')` 递归遍历可能意外读取敏感目录 | 明确指定 `--input`/`--output` 工作目录 |

| 数据覆盖风险 | 部署脚本的 `shutil.copy2` 和回滚删除可能误删数据 | 使用 `--dry-run` 预览，重要数据提前备份 |

| 过拟合风险 | 复杂特征工程和 AutoML 搜索可能导致虚假回测表现 | 严格执行清洗 CV、蒙特卡洛置换检验、真实样本外验证 |

| 资源耗尽风险 | 长时间 AutoML 搜索或大型模型训练 OOM | 设置 `time_budget_seconds` 硬超时，监控内存使用 |

| 概念漂移风险 | 静态模型无法适应市场机制变化 | 建立定期重训练机制，监控生产指标衰减 |

建议在隔离环境（Docker/虚拟环境）中先行验证，审查所有生成的 Bash/Write/Edit 操作后再确认执行。