agentic-paper-digest-skill

📄 智能追踪前沿论文的科研助手

基于开源项目的智能论文摘要工具,自动抓取arXiv/Hugging Face最新论文并通过LLM生成结构化摘要,助力科研人员高效追踪前沿研究动态。

收藏
3.6k
安装
1.6k
版本
v0.3.3
CLS 安全性认证2026-05-07
点击查看完整报告 >

使用说明

核心用法

Agentic Paper Digest 是一款面向科研人员的自动化论文追踪与摘要工具。其核心工作流程分为三个层次:首先通过 CLI 或 API 模式运行,从 arXiv 和 Hugging Face 两大学术平台抓取指定时间窗口内的最新论文;随后利用配置的大语言模型(OpenAI 或 LiteLLM 兼容接口)进行相关性评分与智能摘要生成;最终将结果以 JSON 格式输出或存入本地 SQLite 数据库,支持下游 Agent 调用或人工审阅。

用户可通过 config/topics.json 自定义关注的研究主题,每个主题配置独立的关键词与结果上限;通过环境变量调整时间窗口、API 端点、模型参数等。工具提供两种运行模式:CLI 模式适合一次性批量获取与脚本集成,API 模式(FastAPI 服务)则支持持续轮询与 Web UI 交互。

显著优点

1. 双源聚合:同时覆盖 arXiv 预印本与 Hugging Face 模型/论文,兼顾理论研究与工程实践动态。
2. 智能过滤:基于 LLM 的相关性分类器替代传统关键词匹配,能识别语义相关但表述不同的研究。

3. 高度可配置:从主题定义、模型选择到抓取参数均可通过 JSON 配置与环境变量精细调整,无需修改代码。

4. 本地优先:数据存储于本地 SQLite,API 密钥通过 .env 管理,避免敏感信息上云。

5. 扩展友好:JSON 输出格式与 REST API 设计便于接入个人知识库、Notion、Slack 等下游工作流。

潜在缺点与局限性

1. 依赖外部 LLM:核心功能完全依赖 OpenAI 或兼容 API,产生持续调用成本,且摘要质量受模型能力制约。
2. 无内置去重机制:同一论文若在 arXiv 与 HF 同时出现,可能产生重复条目。

3. PDF 文本提取为可选功能:需额外安装 PyMuPDF,且仅提取首页,深度内容仍需人工阅读。

4. 个人维护项目:代码由单一开发者维护,长期更新与社区支持存在不确定性。

5. 无内置通知机制:需用户自行轮询 API 或结合 cron 等外部工具实现定时推送。

适合的目标群体

  • 高校科研人员:需跨领域追踪最新进展但时间有限的研究生、博士后、青年教师。
  • 工业界研究岗:关注大模型、AI 安全等快速演进领域的技术落地团队。
  • 技术内容运营:科技媒体、 newsletter 作者,需批量筛选选题素材。
  • 个人知识管理爱好者:希望将论文阅读流程自动化、结构化归档的极客用户。

使用风险

  • 依赖项风险bootstrap.sh 自动执行 pip install,若 requirements.txt 被篡改可能引入恶意包;建议首次使用前人工审查依赖列表。
  • API 成本失控:大窗口或高频轮询可能导致 LLM 调用费用激增,需合理设置 WINDOW_HOURSMAX_CANDIDATES_PER_SOURCE
  • 网络稳定性:arXiv API 存在速率限制,批量抓取时可能触发 503 错误,需配合重试机制与合理超时配置。
  • 数据持久化:默认数据目录位于用户主目录,若未备份可能因误删脚本或重装系统丢失历史记录。
  • 模型幻觉:LLM 生成的摘要可能存在事实偏差,关键论文仍需人工核对原文。

安全解读

核心用法

Agentic Paper Digest Skill 是一个学术文献追踪自动化工具,主要功能包括:

  • 多源抓取:同时从 arXiv API 和 Hugging Face API 获取最新论文元数据
  • LLM智能筛选:利用OpenAI或兼容API进行相关性判断与论文摘要生成
  • 主题分类:通过配置topics.json定义研究兴趣,自动将论文归类到指定主题
  • 灵活输出:支持CLI一次性运行(输出JSON统计)或API服务模式(支持轮询工作流)
  • 本地存储:使用SQLite数据库持久化论文数据,便于后续分析

使用流程

1. 配置环境变量(API密钥、模型选择)
2. 定义研究主题与关键词(config/topics.json

3. 运行scripts/run_cli.sh获取当日论文摘要

4. 可选启动API服务供其他Agent调用

显著优点

  • 研究聚焦:支持通过max_per_topic限制各主题论文数量,避免信息过载
  • 配置灵活:时间窗口、arXiv分类、候选数量、超时设置均可自定义
  • 质量增强:可选启用PDF首页文本提取(ENABLE_PDF_TEXT=1),弥补摘要不足
  • 机构偏好:支持配置机构权重(affiliations.json),优先展示知名实验室成果
  • API友好:提供完整的REST API,便于集成到自动化工作流

潜在缺点与局限性

  • 依赖外部LLM:必须配置OpenAI或兼容API密钥,产生调用成本
  • T3级来源风险:核心代码托管于个人开发者GitHub账号(2026年2月新建,1 star),社区认可度低
  • 动态代码加载:bootstrap脚本从GitHub实时下载执行代码,存在供应链安全风险
  • 英文为主:数据源为arXiv和HF,主要覆盖英文论文
  • 摘要质量依赖模型:低配模型可能导致摘要不够深入

适合人群

  • AI/ML研究者:需要每日追踪cs.CL、cs.AI、cs.LG等领域最新论文
  • 科研团队:希望建立自动化文献监控与内部分享流程
  • 技术决策者:关注Hugging Face上的新模型与工具发布
  • 学生与自学者:系统性了解特定研究方向的近期进展

常规风险

| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 供应链攻击 | 从GitHub动态下载执行代码 | 先审查外部仓库,使用固定commit版本,在隔离环境运行 |
| API密钥泄露 | 需配置OpenAI/LiteLLM密钥 | 使用`.env`文件,避免硬编码,定期轮换密钥 |
| 数据隐私 | 论文标题/摘要发送至LLM API | 确认API服务商数据处理政策,敏感研究可考虑本地模型 |
| 结果偏差 | LLM判断相关性可能存在偏见 | 定期校准主题关键词,人工抽查结果质量 |
| 服务可用性 | 依赖arXiv/HF API稳定性 | 配置合理超时,建立失败重试机制 |

agentic-paper-digest-skill 内容

scripts文件夹
手动下载zip · 5.7 kB
bootstrap.shtext/x-shellscript
请选择文件