核心用法
Senior Data Engineer 是一套面向生产环境的数据工程技能库，专注于可扩展、高可靠的数据系统构建。核心能力涵盖三大工作流：
1. 批处理 ETL 管道 — 从 PostgreSQL 等源系统提取数据，经 dbt 转换后加载至 Snowflake。支持增量处理、分区策略、数据质量测试（唯一性、非空、范围检查）及 Airflow 编排，提供从模式发现到生产部署的端到端代码模板。
2. 实时流处理 — 基于 Kafka + Spark Structured Streaming 的事件驱动架构。包含主题分区设计、JSON Schema 校验、窗口聚合、水位线机制、死信队列容错处理，以及 Prometheus 指标监控集成。
3. 数据质量框架 — 集成 Great Expectations 与 dbt-expectations，实现契约化数据治理。支持期望套件定义、数据合同 YAML 配置、SLA 监控（时效性、完整性、准确性），并提供可扩展的质量报告生成器。
架构决策框架
技能内置决策矩阵：批处理 vs 流处理（延迟、成本、错误处理复杂度）、Lambda vs Kappa 架构（维护成本与重播能力）、数仓 vs 湖仓（存储成本与 ML 灵活性），帮助用户根据场景选择最优技术路线。
显著优点
- 生产级完整性：提供超过 15 个可直接运行的代码片段，涵盖 Airflow DAG、Spark Streaming Job、dbt 模型、Great Expectations 套件，减少从零搭建的试错成本。
- 现代数据栈覆盖：整合 Python/SQL/Scala 多语言，贯通 Airflow/Prefect/Dagster、dbt、Spark/Flink、Kafka、Delta Lake/Iceberg、Snowflake/BigQuery 等主流工具链。
- 运维可观测性：内置故障排查手册（OOM、消费者延迟、查询性能劣化）、数据新鲜度监控、Schema 漂移处理，体现 DataOps 最佳实践。
潜在局限
- 云厂商锁定倾向：示例大量使用 Snowflake、BigQuery、AWS S3/GCS 等托管服务，自建 Hadoop/本地部署场景的覆盖相对薄弱。
- 流处理深度有限：Flink 仅作提及，核心示例以 Spark Structured Streaming 为主；复杂事件处理（CEP）、状态ful 计算模式未充分展开。
- 安全与治理留白：依赖外部参考文档（dataops_best_practices.md）阐述数据血缘、访问控制、加密传输，技能正文中缺乏具体实现。
适合人群
- 需构建企业级数据平台的中高级数据工程师
- 从批处理向实时架构迁移的技术负责人
- 希望标准化数据质量流程的数据平台团队
常规风险
- 成本失控：流处理基础设施（Kafka 分区、Spark 常驻作业）若配置不当，云资源费用可能远超预期。
- 数据新鲜度陷阱：过度依赖增量加载而忽略上游延迟检测，可能导致决策基于过时数据。
- 测试覆盖率幻觉：dbt 测试与 Great Expectations 需持续维护，静态配置无法捕获业务语义漂移。