Agentic Paper Digest Skill

核心用法

Agentic Paper Digest 是一款面向学术研究者的自动化论文聚合与摘要工具，通过智能代理工作流从 arXiv 和 Hugging Face 两大平台抓取最新论文，经 LLM 分类筛选后生成结构化摘要输出。

主要使用场景：

• 批量获取指定时间窗口内的最新 AI/ML 相关论文
• 生成 JSON 格式论文 feed，供下游代理或工作流消费
• 部署本地 API 服务，支持轮询式论文监控

运行方式：

• CLI 模式（推荐）：bash run_cli.sh，支持 --window-hours、--sources 等参数
• API 模式：bash run_api.sh 启动服务，提供 /api/run、/api/papers、/api/status 等端点

核心配置：

• 支持 OpenAI 及任意 LiteLLM 兼容的 LLM 服务
• 通过 topics.json 定义研究主题与关键词，实现智能分类
• 可启用 PDF 首页文本提取（ENABLE_PDF_TEXT=1）增强摘要质量
• 支持机构加权排名（affiliations.json）

显著优点

1. 多源聚合：同时覆盖 arXiv（cs.CL, cs.AI, cs.LG 等）与 Hugging Face，减少信息孤岛
2. 智能过滤：基于 LLM 的相关性分类器，自动过滤低相关论文
3. 灵活部署：CLI 脚本即开即用，API 模式便于集成到现有工作流
4. 可定制主题：JSON 配置驱动，主题定义与 LLM 分类器解耦，便于精细调优
5. 轻量级存储：SQLite 本地存储，无需外部数据库依赖

潜在局限

• LLM 依赖：核心功能（相关性判断、摘要生成）完全依赖外部 LLM，成本高且存在延迟
• 无内置调度：需配合 cron/systemd 等外部工具实现定时运行
• PDF 解析可选：PyMuPDF 为额外依赖，未安装时仅依赖摘要文本
• 单用户设计：SQLite 存储与本地 API，未针对多用户并发优化
• 主题维护成本：主题定义需人工维护，领域快速演进时可能失效

适合人群

• AI/ML 研究者需跟踪最新文献但时间有限
• 研究小组需统一论文监控入口
• 自动化工作流开发者需结构化论文 feed
• 对 arXiv/HF 内容有明确领域聚焦的技术团队

常规风险

• API 密钥泄露：OPENAI_API_KEY 或 LITELLM_API_KEY 需妥善保管，建议通过 .env 文件管理
• 成本控制：高频轮询 + LLM 调用可能产生显著费用，建议合理设置 WINDOW_HOURS 和主题限制
• 数据时效性：依赖上游平台 RSS/API，存在抓取延迟或接口变更风险
• 分类偏差：LLM 主题分类可能存在误判，重要论文建议人工复核

核心用法

Agentic Paper Digest 是一款面向学术研究者的自动化论文追踪工具，通过 LLM 智能筛选和摘要技术，帮助用户高效获取 arXiv 和 Hugging Face 的最新研究成果。

功能架构

数据采集层：支持双源抓取，默认覆盖 cs.CL、cs.AI、cs.LG、stat.ML、cs.CR 等核心 AI 领域，可通过 ARXIV_CATEGORIES 自定义扩展。采集参数（窗口时长、结果上限、分页策略）均支持环境变量配置。

智能处理层：采用双模型分工架构——轻量级模型执行相关性分类，强模型负责高质量摘要生成。支持 PDF 首页文本提取（需 PyMuPDF），解决摘要信息不足的问题。主题系统支持 id/label/description/keywords 结构化定义，配合 max_per_topic 实现精细化结果管控。

输出交付层：CLI 模式输出结构化 JSON（含 run_id、seen、kept、window_start/end 等元信息）；API 模式提供完整的 RESTful 端点（/api/run、/api/status、/api/papers、/api/topics、/api/settings），支持轮询工作流集成。数据持久化采用 SQLite（data/papers.sqlite3）。

显著优点

1. 灵活的配置体系：环境变量 + JSON 配置文件双轨制，支持 .env 自动加载与路径自定义（PROJECT_DIR、ENV_FILE），便于多环境部署与 CI/CD 集成。

2. 精准的排序机制：除 LLM 相关性评分外，引入机构加权（affiliations.json）作为软偏置，兼顾学术影响力与主题匹配度。

3. 低门槛启动：提供 bootstrap.sh 一键初始化脚本，自动适配 git/curl/wget/Python 多种环境，无需手动克隆仓库。

4. 开放生态兼容：基于 LiteLLM 实现多提供商支持（OpenAI、Anthropic、本地模型等），API 兼容 OpenAI 格式。

潜在局限

• 外部依赖耦合：核心功能强依赖 LLM API（OpenAI 或兼容服务），无离线降级方案；网络中断或额度耗尽将导致服务不可用。
• 动态代码风险：启动脚本从 GitHub 动态拉取代码（L1 层级远程加载），虽来源可信，但存在供应链攻击面（仓库被入侵、tag 被篡改）。
• 计算成本控制：双模型调用 + PDF 解析带来显著的 token 与计算开销，高频监控场景需关注 API 费用累积。
• 领域覆盖偏向：默认主题配置针对 NLP/ML/AI 领域优化，其他学科（如生物医学、物理学）需大量自定义配置。

适合人群

• AI/ML 研究人员：需要追踪 arXiv 最新进展，避免信息过载
• 技术团队负责人：监控 Hugging Face 模型发布动态
• 学术机构：构建内部论文推荐系统（通过 API 集成）
• 知识工作者：需要结构化、可过滤的学术信息流

常规风险

| 风险类别 | 说明 | 缓解建议 |

|---------|------|---------|

| API 密钥泄露 | `OPENAI_API_KEY`/`LITELLM_API_KEY` 需配置于环境变量或 `.env` 文件 | 使用密钥管理服务，避免提交至版本控制；定期轮换密钥 |

| 供应链攻击 | bootstrap 脚本从 GitHub 下载代码，若仓库被入侵则执行恶意代码 | 启用 commit/tag 签名验证；锁定固定版本而非 `main` 分支 |

| 数据隐私 | PDF 文本与摘要请求发送至第三方 LLM 服务商 | 评估数据敏感度；必要时使用本地部署模型替代 |

| 服务可用性 | 依赖 arXiv/Hugging Face/OpenAI 多外部服务 | 实现本地缓存与失败重试；监控各服务端点健康状态 |

安全评级 A，符合生产环境使用标准，建议实施上述风险缓解措施后部署。