核心用法
PMC Harvest 是面向生物医学研究者的文献采集工具,通过封装 NCBI 官方 E-utilities 和 OAI-PMH 接口,实现 PubMed Central 开放获取文献的检索与全文下载。核心工作流分为三步:使用 --search 参数配合期刊名和年份筛选目标文献,通过 --fetch 或编程接口获取 PMCID 对应的全文 XML,最后调用内置 JATS 解析器提取结构化内容(标题、摘要、正文)。批量场景下支持 JSON 格式的期刊列表输入,实现多源自动化采集。
显著优点
- 零门槛接入:无需申请 API key,直接调用 NCBI 公共接口
- 开放获取优先:自动识别并下载 CC-BY 等授权的全文,规避版权风险
- RAG 友好输出:原生支持 JATS XML 解析,可直接向量化存储
- 双模式设计:命令行适合快速查询,程序化 API 便于集成至数据管道
潜在局限
- 内容边界:OAI-PMH 仅返回开放获取文献,订阅内容无法获取(覆盖率约 35-40% PMC 总文献)
- 速率限制:无 key 场景下约 3 请求/秒,大规模采集需控制并发或申请 API key
- 时段敏感:NCBI 建议避开美东时间 5:00-21:00 高峰,否则可能触发限流
- 单平台依赖:数据源仅限 PMC,不覆盖 PubMed 摘要-only 记录或其他数据库
适合人群
- 需要构建医学垂直领域 RAG 知识库的研究团队
- 系统评价/Meta 分析作者进行文献筛选与全文获取
- 生物信息学工作流中需要结构化文献数据的开发者
常规风险
- 服务稳定性:NCBI 接口偶发维护,需实现指数退避重试
- 数据一致性:作者署名、机构信息以 XML 原数据为准,未做标准化清洗
- 合规使用:需遵守 NCBI 使用条款,禁止高频爬取影响公共服务
技术细节
| 组件 | 说明 |
|------|------|
| 运行时 | Node.js |
| 依赖服务 | NCBI E-utilities, OAI-PMH v1 |
| 输出格式 | JATS XML / JSON 摘要 |
| 认证方式 | 无(匿名)或可选 API key |