Geoskill: Geospatial Data Quality Audit

🛡️ GIS数据质量一站式审计专家

面向地理空间数据包的专业QA工具,支持栅格/矢量/表格/NetCDF等多格式校验,输出结构化JSON/HTML报告与问题图层,保障GIS数据交付质量。

收藏
1k
安装
225
版本
1.0.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

本技能是一款只读型地理空间数据质量审计工具,专用于对本地GIS数据目录进行递归扫描与全面质检。用户指定待审计目录后,工具自动识别GeoTIFF、Shapefile、NetCDF、Parquet等十余种格式,执行逐文件检查与跨文件一致性校验,最终生成机器可读的JSON报告、可视化HTML文档及空间问题图层。通过命令行参数可灵活控制递归深度、采样规模、输出格式及失败阈值,支持自定义规则扩展,满足从快速筛查到严格交付验收的多层次需求。

显著优点

格式覆盖全面:原生支持栅格(GeoTIFF/ASC/HDF)、矢量(SHP/GPKG/KML)、表格(CSV/Parquet/Excel)、NetCDF/HDF5及LAS点云等主流GIS格式,单工具即可替代多格式专用检测脚本。零侵入审计:设计上严格只读,不修改源数据、不触发外部下载,保障原始数据安全。工程化输出:除人类友好的HTML报告外,提供结构化JSON、GeoJSON问题图层、MD5校验值及标准化退出码,无缝接入CI/CD流水线。可扩展规则引擎:内置CRS缺失、几何有效性、编码一致性等核心规则,同时支持JSON配置文件自定义大小限制、强制坐标系等策略。智能降级机制:核心检查依赖纯Python标准库,可选依赖(rasterio/fiona/netCDF4)缺失时自动降级为轻量检查,避免硬性阻断。

潜在缺点与局限性

本地数据强依赖:工具不集成任何数据获取能力,用户须自行准备完整数据集,无法直接审计在线服务或自动下载场景。修复能力缺位:当前版本未实现--fix-safe自动修复,仅定位问题需人工介入处理。合规结论审慎:虽能检测CRS不匹配、几何错误等技术缺陷,但合规性/认证结论仍需领域专家人工复核。深度检查有条件:栅格金字塔、矢量拓扑关系等深度检查依赖可选第三方库,极简环境下可能降级为基础元数据校验。LAS/文档格式支持有限:LAS点云与DOCX/PDF等文档仅做基础存在性检查,无法解析内部地理空间内容。

适合的目标群体

  • GIS数据工程师:需要批量验收供应商交付的影像、矢量数据包
  • 遥感/测绘项目质检员:执行航测、卫星数据生产后的自动化QA环节
  • 数据治理团队:建立空间数据资产的标准化入库质检流程
  • 科研数据管理者:校验NetCDF气候数据集、生态观测数据的完整性与一致性
  • DevOps工程师:将空间数据质检集成至GIS数据处理流水线

使用风险

性能风险:递归扫描大规模目录(百万级文件)可能产生显著IO开销,建议配合--sample-size参数分批次执行。依赖漂移风险:可选库版本差异(如rasterio与GDAL绑定版本)可能导致跨环境检查结果不一致,建议在容器化环境中锁定依赖版本。规则误报风险:自定义规则JSON若配置不当(如过于严格的文件大小阈值),可能产生大量警告干扰判断,需迭代调优。路径权限风险:对受系统保护或网络挂载目录执行审计时,可能因读取权限不足导致部分文件被跳过,需在执行前确认目录权限。报告累积风险:默认输出目录位于<input>/qa-output,反复执行可能产生历史报告堆积,建议清理策略或指定独立--output-dir

Geoskill: Geospatial Data Quality Audit 内容

references文件夹
scripts文件夹
手动下载zip · 14.2 kB
rules.mdtext/markdown
请选择文件