Document Workflow

📄 学术文献自动化处理引擎

一键完成学术论文搜索、下载、文本提取与结构化摘要,支持arXiv双引擎检索与分块处理,适合科研工作者高效追踪前沿文献。

收藏
4.4k
安装
1.2k
版本
1.0.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Document Workflow 是一套面向学术研究的自动化文献处理工具链,实现「搜索→下载→提取→摘要」全流程闭环。用户通过单一命令即可完成从关键词检索到结构化知识抽取的完整工作流。

搜索层:双引擎架构,Tavily 优先检索 arXiv(PDF 可用率~100%),Semantic Scholar 作为元数据补充(提供引用量、期刊信息)。支持年份过滤(--year_from/to)与结果数量控制。

获取层:支持管道模式(stdin 接收搜索结果)与直接 URL 下载,自动按主题分类存储,生成 metadata.json 留存元数据。

处理层:PDF 文本提取采用分块策略(5-10 页/块),避免大文档超出上下文窗口;提取结果持久化为 JSON,支持增量复用。

输出层:按预定义 Schema 生成结构化摘要,涵盖任务定义、实验设计、数据集、基线方法、评估指标与核心发现等维度。

自动化:内置定时任务(Cron),可配置每日推送特定领域最新论文摘要至 Telegram。

显著优点

  • 高可用性:arXiv 源确保 PDF 近乎 100% 可获取,显著优于传统学术 API(~30% PDF 率)
  • 工程化设计:管道化命令接口、分块提取、结果缓存,适配大模型上下文限制
  • 结构化输出:强制 Schema 约束,便于后续知识库构建与对比分析
  • 低门槛部署:纯 Python 实现,依赖清晰,支持 Windows/Linux 跨平台

潜在局限

  • 源单一性:默认依赖 arXiv 预印本,正式出版论文(如 CVPR/ICML 最终版)可能缺失或版本滞后
  • 提取质量:PDF 解析依赖文本层,扫描件或复杂排版论文可能产生乱码
  • 摘要深度:结构化模板虽规范但可能遗漏非标准实验设计或跨领域创新点
  • API 依赖:Tavily/Semantic Scholar 需外部服务可用性

适合人群

  • 需批量追踪特定领域前沿进展的研究生与科研人员
  • 构建文献知识库、进行系统性综述(Systematic Review)的团队
  • 希望将论文阅读流程自动化、与 LLM 工作流集成的技术用户

常规风险

  • 版权合规:自动下载需遵守 arXiv 服务条款与出版商版权政策,大规模商用需注意速率限制
  • 信息时效:预印本未经同行评审,研究结论可能存在后续修正
  • 验证责任:自动化摘要不可替代人工精读关键论文,重要结论需溯源核对
  • 数据安全:下载内容与 API 密钥本地存储,共享环境需配置访问隔离

Document Workflow 内容

references文件夹
scripts文件夹
手动下载zip · 19.2 kB
output_schema.jsonapplication/json
请选择文件