核心用法
data-source-audit 是一套用于建筑行业数据治理的 Python 审计框架,通过定义 DataSource、DataFlow、DataSilo 三类核心实体,帮助企业完成以下工作:
1. 数据源普查:支持从调研问卷批量导入,覆盖数据库、API、云应用、电子表格、IoT 传感器等 8 类常见来源
2. 数据流映射:记录系统间推送、拉取、双向同步等流动关系,生成可视化集成矩阵
3. 孤岛识别:自动检测三类典型孤岛——完全孤立的系统、无主数据域、单向流动缺口
4. 质量评估:基于样本数据计算完整性、唯一性、有效性评分
5. 成熟度打分:从覆盖度、主数据、数据质量、孤岛风险四维度计算 0-100% 综合得分
6. 输出交付:生成 Markdown 审计报告、Excel 数据目录、集成路线图
显著优点
- 行业针对性强:内置 Cost/Schedule/BIM/Field/Safety 等建筑专业数据域枚举,贴合施工场景
- 供应商中立:明确声明与 Procore、Sage、Primavera 等商业产品无绑定,可审计任意系统
- 工程化完整:提供从调研问卷模板 → Python SDK → 报告生成的端到端工作流
- 可扩展架构:基于 dataclass 设计,易于接入企业现有 CMDB 或数据治理平台
潜在局限
- 技术门槛:需要 Python 3 环境及 pandas 基础,非技术人员难以直接上手
- 质量评分偏静态:基于样本数据的一次性评估,缺乏持续监控机制
- 集成矩阵简陋:仅输出符号标记的 DataFrame,未内置可视化图表
- 安全认证缺失:文档中明确标注"未执行安全扫描",企业部署前需自行审计
适合人群
- 建筑企业 CIO / 数据架构师 / 数字化转型负责人
- 为施工客户做数据治理咨询的系统集成商
- 已有 Python 技术栈、希望自建数据目录的工程团队
常规风险
| 风险项 | 说明 |
|--------|------|
| 数据暴露 | 审计过程需访问多系统元数据,问卷收集阶段存在敏感信息泄露风险 |
| 评分误导 | 质量算法较简单(如日期格式检查),复杂业务规则需二次开发 |
| 落地困难 | 输出为诊断报告而非自动化集成工具,后续改造依赖额外投入 |
| 维护负担 | 数据源变动后需重新审计,未提供持续同步机制 |
参考资源
- 主页:https://datadrivenconstruction.io
- 遵循 DAMA-DMBOK、DCAM 等数据治理标准