PMC Harvest

📚 PubMed 全文一键采集,RAG 知识库就绪

PubMed Central全文采集工具,支持期刊检索、OAI-PMH开放获取文献批量获取,无需API密钥,适合RAG知识库构建。

收藏
4.7k
安装
1.3k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

PMC Harvest 是面向生物医学研究者的文献采集工具,通过封装 NCBI 官方 E-utilities 和 OAI-PMH 接口,实现 PubMed Central 开放获取文献的检索与全文下载。核心工作流分为三步:使用 --search 参数配合期刊名和年份筛选目标文献,通过 --fetch 或编程接口获取 PMCID 对应的全文 XML,最后调用内置 JATS 解析器提取结构化内容(标题、摘要、正文)。批量场景下支持 JSON 格式的期刊列表输入,实现多源自动化采集。

显著优点

  • 零门槛接入:无需申请 API key,直接调用 NCBI 公共接口
  • 开放获取优先:自动识别并下载 CC-BY 等授权的全文,规避版权风险
  • RAG 友好输出:原生支持 JATS XML 解析,可直接向量化存储
  • 双模式设计:命令行适合快速查询,程序化 API 便于集成至数据管道

潜在局限

  • 内容边界:OAI-PMH 仅返回开放获取文献,订阅内容无法获取(覆盖率约 35-40% PMC 总文献)
  • 速率限制:无 key 场景下约 3 请求/秒,大规模采集需控制并发或申请 API key
  • 时段敏感:NCBI 建议避开美东时间 5:00-21:00 高峰,否则可能触发限流
  • 单平台依赖:数据源仅限 PMC,不覆盖 PubMed 摘要-only 记录或其他数据库

适合人群

  • 需要构建医学垂直领域 RAG 知识库的研究团队
  • 系统评价/Meta 分析作者进行文献筛选与全文获取
  • 生物信息学工作流中需要结构化文献数据的开发者

常规风险

  • 服务稳定性:NCBI 接口偶发维护,需实现指数退避重试
  • 数据一致性:作者署名、机构信息以 XML 原数据为准,未做标准化清洗
  • 合规使用:需遵守 NCBI 使用条款,禁止高频爬取影响公共服务

技术细节

| 组件 | 说明 |
|------|------|
| 运行时 | Node.js |
| 依赖服务 | NCBI E-utilities, OAI-PMH v1 |
| 输出格式 | JATS XML / JSON 摘要 |
| 认证方式 | 无(匿名)或可选 API key |

PMC Harvest 内容

lib文件夹
scripts文件夹
手动下载zip · 7.4 kB
api.jstext/javascript
请选择文件