Korean Gov Programs

🏛️ 韩国政府补助智能采集专家

韩国政府支持计划自动采集工具,支持TIPS、小商户、R&D等补助项目结构化抓取,具备断点续传与防重复机制

收藏
5.3k
安装
1.3k
版本
1.0.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

korean-gov-programs 是一款面向韩国政府支持计划(TIPS、小商户、R&D 等)的自动化数据采集技能。用户通过 Python 脚本执行抓取任务,输出符合 JSONL 格式的结构化数据文件,便于后续分析与对接。

执行命令示例

  • 基础采集:python3 scripts/collect.py --output ./data
  • 自定义目录:python3 scripts/collect.py --output /path/to/output
  • 查看统计:bash scripts/stats.sh ./data

输出结构

  • soho_programs.jsonl — 小商户支持项目
  • gov_programs.jsonl — 政府 R&D/技术创业支持项目
  • .checkpoint.json — 断点状态自动保存

显著优点

1. 断点续传机制:通过 .checkpoint.json 保存进度,中断后可安全恢复,避免重复劳动。
2. 防重复写入:采用 APPEND-ONLY 模式,以 title 字段为键自动跳过重复项,确保数据完整性。

3. 多源整合:覆盖企业广场(BizInfo)、NIA 韩国智能信息社会振兴院等官方渠道,数据来源权威。

4. 服务器友好:请求间隔强制 0.8 秒延迟,降低目标站点负载风险。

5. 结构化输出:统一 JSONL 格式,包含业务名称、类别、来源机构、金额、截止日期等关键字段,便于下游系统对接。

潜在缺点与局限性

  • 动态渲染站点受限:SEMAS、MSS、K-Startup、Innopolis、KISED 等依赖 JavaScript 渲染的站点当前被标记为跳过(⚠️),需额外配置 Selenium/Playwright 环境方可采集,增加了部署复杂度。
  • 维护依赖性强:政府网站 DOM 结构变更将直接导致采集失效,需持续维护解析逻辑。
  • 地域限定:仅覆盖韩国本土政府项目,无跨国数据支持。
  • 数据实时性:基于静态 HTML 抓取,可能存在 1-3 天延迟,紧急项目需人工二次核验。

适合人群

  • 创业孵化器、投资机构的研究与政策分析团队
  • 为韩国中小企业客户提供咨询服务的代理公司
  • 需要构建政府补助信息数据库的数据工程师
  • 关注 TIPS、R&D 资助的技术创业团队

常规风险

  • 目标站点变更风险:政府网站改版可能导致选择器失效,建议设置监控告警。
  • 合规采集边界:虽已设置 0.8 秒延迟,仍需关注各站点的 robots.txt 及流量限制条款,避免 IP 封禁。
  • 数据准确性风险:自动解析可能存在字段错位,关键资金决策前建议人工复核原始页面。
  • 断点文件损坏:异常中断可能导致 .checkpoint.json 损坏,建议定期备份或实现校验机制。

Korean Gov Programs 内容

scripts文件夹
手动下载zip · 7.2 kB
collect.pytext/plain
请选择文件