Geoskill: Geospatial Data Quality Audit

🗺️ GIS数据质量智能审计专家

面向GIS数据包的专业质量审计工具,支持栅格/矢量/NetCDF等多格式检测,输出结构化报告与问题图层,零代码保障空间数据交付质量。

收藏
1k
安装
225
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Geospatial Data Quality Audit 是一款专为GIS数据包设计的统一质量审计工具。用户只需指定本地数据目录路径,工具即可递归扫描所有空间文件,执行逐文件检测与跨文件一致性校验,最终生成JSON/HTML结构化报告、问题点GeoJSON图层、校验和及机器可读退出码。支持栅格(GeoTIFF/IMG/ASC)、矢量(Shapefile/GeoJSON/GPKG/KML)、表格(CSV/Parquet/Excel)、NetCDF/HDF及LAS点云等多种格式。

命令行使用极为简洁:python geospatial_data_quality_audit.py /path/to/data --html --issues-geojson 即可一键生成完整审计报告。进阶功能包括自定义规则引擎(--rules)、失败阈值控制(--fail-on warning)、非递归模式及采样检测(--sample-size)。

显著优点

格式覆盖全面:单一工具贯通栅格、矢量、表格、NetCDF、点云五大类数据,无需切换多个软件。输出标准化:JSON报告便于系统集成,HTML报告支持人工审阅,GeoJSON问题图层可直接加载QGIS/ArcGIS定位异常,退出码(0/2/3/6/7)支持CI/CD流水线自动化决策。只读安全:默认只读审计,绝不修改源数据,数据安全有保障。规则可扩展:内置CRS缺失、几何无效、编码异常等20余项规则,支持JSON配置文件自定义大小限制、强制坐标系等合规要求。依赖弹性:纯Python标准库即可基础运行,深度学习调用rasterio/fiona/netCDF4等可选库,缺失时降级为警告而非报错。

潜在缺点与局限性

前置准备门槛:需用户自行准备本地数据目录,工具不集成数据下载功能,--bbox/--aoi-file仅为记录用途。修复能力缺失:--fix-safe参数尚未实现,发现问题后需人工介入处理,无法自动修复CRS或几何错误。合规结论限制:明确声明合规/认证结论需人工复核,不能替代官方认证流程。性能瓶颈:大规模递归扫描(数万级文件)时可能耗时较长,虽支持--sample-size采样,但全量审计资源消耗不可忽视。深度学习依赖弱网环境:可选库安装失败将导致栅格/矢量深度检测降级,可能遗漏复杂质量问题。

适合的目标群体

数据交付团队:测绘、遥感、国土空间规划等单位的数据质检人员,需批量验收外包数据成果。GIS开发者:构建数据流水线时集成CI/CD门禁,自动拦截低质量数据入库。科研数据管理:高校/研究所的空间数据中心,需规范化存档前质量校验。智慧城市/数字孪生项目:多源异构数据融合前的统一质量基线建立。开源社区贡献者:GDAL/OGR生态的补充工具,适合作为数据预处理环节的质量关卡。

常规使用风险

性能风险:TB级影像目录或百万级矢量文件全量扫描可能导致内存峰值或磁盘IO饱和,建议分区分批执行。依赖漂移:rasterio/fiona版本迭代可能引入API变更,建议锁定依赖版本或容器化部署。规则误报:自定义规则配置不当可能产生大量无效警告,需结合业务场景迭代调优规则阈值。退出码误用:脚本调用时若忽略退出码6(数据验证失败),可能导致问题数据流入下游环节。路径权限:递归扫描可能触及系统隐藏目录或符号链接循环,需确保运行权限与路径白名单配置正确。

Geoskill: Geospatial Data Quality Audit 内容

references文件夹
scripts文件夹
手动下载zip · 14.2 kB
rules.mdtext/markdown
请选择文件