Agentic Paper Digest Skill

📚 AI论文自动聚合与智能摘要

AI驱动的学术文献聚合工具,自动抓取arXiv和Hugging Face最新论文,智能分类并生成结构化摘要,支持本地API服务。

收藏
9.6k
安装
3.3k
版本
1.0.0
CLS 安全性认证2026-05-08
点击查看完整报告 >

使用说明

核心用法

Agentic Paper Digest 是一个自动化的学术论文聚合与摘要系统,主要面向研究人员和AI从业者。其核心工作流包括:

1. 多源抓取:从 arXiv(支持多类别如 cs.CL、cs.AI 等)和 Hugging Face 平台获取最新论文
2. 智能筛选:通过 LLM 进行相关性评分,基于用户定义的 topics.json 主题配置进行分类

3. 摘要生成:对筛选后的论文生成结构化摘要,可选启用 PDF 首页文本提取增强摘要质量

4. 输出交付:支持 CLI JSON 输出或本地 API 服务(端口8000),数据持久化存储于 SQLite

运行模式

  • CLI 模式:单次运行,适合定时任务集成
  • API 模式:持续服务,支持轮询式工作流,提供 /api/run/api/papers/api/topics 等端点

显著优点

  • 高度可配置:通过环境变量或 .env 文件灵活控制模型选择、温度参数、抓取窗口、分类主题等
  • 双模型策略:支持分别为相关性判断和摘要生成配置不同强度的模型,优化成本与质量平衡
  • 机构加权:affiliations.json 允许对特定研究机构进行加权提升,优先展示权威来源
  • 多源整合:同时覆盖 arXiv 和 Hugging Face 两大核心学术平台
  • 主题去重max_per_topic 机制防止单一主题过度占据结果

潜在缺点与局限性

  • 依赖外部 LLM:必须配置 OpenAI API Key 或兼容的 LiteLLM 代理,存在服务中断和成本风险
  • Python 环境依赖:需要 Python 3 及可选的 PyMuPDF,对非技术用户有一定门槛
  • 端口冲突风险:API 模式固定使用 8000 端口,需手动处理占用情况
  • 配置复杂度:topics.json 要求主题互斥且 ID 精确匹配,配置不当会导致分类失效
  • PDF 解析限制:PDF 文本提取仅首页,且依赖额外依赖安装
  • 无内置持久化调度:CLI 模式需配合外部 cron/systemd 实现定时运行

适合人群

  • AI/ML 研究人员需跟踪最新论文动态
  • 技术团队构建内部论文推荐系统
  • 自动化工作流开发者(可与 n8n、Make 等集成)
  • 对 arXiv 特定类别(如 cs.CL、cs.CR)有持续监控需求的从业者

常规风险

  • API 密钥泄露.env 文件或环境变量管理不当可能导致密钥暴露
  • 成本失控:高频调度配合大模型可能产生意外费用,建议设置预算告警
  • 数据隐私:论文元数据和摘要流经第三方 LLM API,敏感研究需注意合规
  • 服务可用性:arXiv/Hugging Face API 变更或 LLM 服务中断会影响功能
  • SQLite 并发:API 模式下多进程访问 SQLite 可能存在锁竞争,高并发场景建议迁移至 PostgreSQL

安全解读

核心用法

Agentic Paper Digest 是一个面向学术研究者的自动化论文追踪工具,支持从 arXiv 和 Hugging Face 实时获取最新论文,并通过 LLM 进行智能相关性分类与摘要生成。该 Skill 提供 CLI 和 REST API 两种运行模式:CLI 模式适合一次性获取指定时间窗口内的论文摘要并输出 JSON;API 模式则启动本地服务器(默认 8000 端口),支持定时轮询、状态查询和主题管理等高级工作流。

配置层面,用户通过环境变量(.env 文件或导出)设置 API 密钥与模型参数,支持 OpenAI 官方 API 或任意 LiteLLM 兼容的 OpenAI 格式代理。核心配置包括:论文获取范围(WINDOW_HOURSARXIV_CATEGORIES)、模型选择(LITELLM_MODEL_RELEVANCE/SUMMARY)、主题定义(config/topics.json)以及可选的 PDF 首页文本提取(ENABLE_PDF_TEXT=1)。主题系统允许用户定义研究兴趣领域,LLM 将每篇论文分类至最匹配的主题,支持按主题数量上限过滤结果。

显著优点

1. 智能工作流自动化:将论文抓取、相关性过滤、主题分类、摘要生成整合为端到端管道,显著节省研究者手动筛选文献的时间。
2. 高度可配置:支持自定义主题、模型、温度参数、来源类别、时间窗口,适配不同研究领域对质量和速度的平衡需求。

3. 双模式架构:CLI 快速获取结果,API 支持长期运行的轮询服务,可集成至个人知识管理工具或团队协作流程。

4. 多源聚合:同时覆盖 arXiv 预印本和 Hugging Face 模型/论文,兼顾理论研究与工程实践动态。

潜在缺点与局限性

  • 外部 API 强依赖:核心功能(相关性判断、摘要生成)完全依赖 OpenAI 或兼容 LLM API,无网络或密钥失效时无法工作,暂无离线/本地模型支持。
  • T3 来源风险:代码由个人开发者维护,通过 bootstrap 脚本动态从 GitHub 下载执行,存在供应链攻击面。
  • 动态依赖安装:运行时通过 pip 安装依赖,未锁定版本,可能因依赖更新引入兼容性问题或漏洞。
  • 主题定义门槛:主题质量直接影响分类效果,需用户具备领域知识以设计互斥、聚焦的主题描述。
  • 英文内容为主:arXiv 和 Hugging Face 以英文论文为主,对中文或其他语言研究覆盖有限。

适合人群

  • AI/ML 领域研究者需每日追踪 arXiv cs.CL/cs.AI/cs.LG 等类别更新
  • 工程团队关注 Hugging Face 新模型发布与实现
  • 技术负责人建立团队内部论文分享与知识库自动化流程
  • 对 LLM 辅助信息筛选有基本了解,能配置 API 密钥和环境变量的技术用户

常规风险

| 风险类别 | 说明 | 缓释建议 |
|---------|------|---------|
| 供应链安全 | bootstrap.sh 从 GitHub 动态下载代码执行 | 手动克隆仓库后使用本地代码,或验证下载文件哈希 |
| API 密钥泄露 | OPENAI_API_KEY 等需配置在环境或 .env 文件 | 使用专用 API 密钥,限制额度,避免提交至版本控制 |
| 隐私合规 | 论文标题、摘要发送至外部 LLM API | 确认机构数据政策,敏感研究内容考虑脱敏或禁用 |
| 服务可用性 | 依赖 arXiv/Hugging Face/OpenAI 服务在线 | 设置合理的超时与重试,准备手动备选方案 |
| 进程管理 | stop_api.sh 使用 pkill 可能误杀进程 | 检查无其他匹配进程后再执行停止命令 |

Agentic Paper Digest Skill 内容

scripts文件夹
手动下载zip · 4.6 kB
bootstrap.shtext/x-shellscript
请选择文件