Arxiv Search Collector

核心用法

ArXiv Search Collector 是一套模型驱动的学术论文采集工作流，专为需要智能查询规划与相关性过滤的研究场景设计。系统采用"脚本为工具、模型做决策"的设计理念，将传统基于规则的检索升级为AI主导的知识发现流程。

标准执行流程：
1. 初始化运行：创建任务目录结构，配置主题、关键词、目标数量、时间窗口及语言参数
2. 查询规划：模型自动将主题扩展为多个聚焦查询（推荐3-4个），采用语义分组策略（组内OR、组间AND）提升召回与精确度
3. 分批获取：串行调用arXiv API，内置速率限制与指数退避重试机制
4. 相关性过滤：模型逐条审阅检索结果，通过索引标记保留/舍弃决策
5. 合并去重：整合多查询结果，生成标准化元数据目录与索引文件
6. 迭代优化：支持增量式补充查询，动态调整策略直至满足质量标准

关键设计亮点：

• 智能采样策略：按目标数量自动计算过采样倍数（通常2x），平衡召回与效率
• 多语言原生支持：通过--language参数全程控制输出语言（包括中文）
• 防御性API调用：每请求最小间隔5秒、最多4次重试、120秒封顶退避，避免触发速率限制
• 透明化追踪：完整保留查询结果、筛选决策与运行时状态，支持审计与复现

显著优点

| 维度 | 优势 |

|------|------|

| **智能性** | 突破关键词匹配局限，模型基于语义理解进行相关性判断，大幅降低噪声 |

| **可控性** | 人机协作架构——模型决策、人工可介入调整（如通过空列表显式舍弃某查询） |

| **健壮性** | 内置多级容错：缓存复用、状态化速率控制、429错误自动重试 |

| **扩展性** | 管道化设计，输出直接对接`arxiv-paper-processor`进行全文处理 |

| **可审计** | 每步操作生成结构化记录（JSON+Markdown双格式），支持事后追溯 |

局限性与注意事项

• API依赖风险：arXiv官方API存在间歇性不稳定与严格速率限制，大规模采集需预留充足时间
• 模型成本：每轮筛选均消耗LLM调用额度，高频迭代可能产生非 trivial 的token开销
• 语言一致性：多语言参数需全程手动保持一致，否则可能导致输出文件混用
• 冷启动门槛：需预先部署Python环境及脚本依赖，非技术用户配置成本较高
• 覆盖盲区：arXiv收录范围以计算机科学、物理学、数学为主，人文社科领域论文稀缺

适合人群

• 学术研究者：系统综述、文献计量分析、前沿技术跟踪
• 研发团队：技术雷达构建、竞品论文监控、知识库建设
• AI产品经理：快速扫描特定技术方向的最新进展
• 教育机构：课程参考资料批量整理

常规风险

| 风险类型 | 说明 | 缓解建议 |

|----------|------|----------|

| 数据完整性 | API返回条目数可能低于请求值 | 设置合理目标范围，接受下限弹性 |

| 相关性漂移 | 模型筛选标准随迭代可能不一致 | 保留benchmark样例，定期校准 |

| 版权合规 | arXiv预印本存在后续撤稿或正式发表版本 | 使用前核查最新状态与许可协议 |

| 隐私泄露 | 自定义查询可能无意中暴露研究方向 | 避免在查询字符串中使用敏感项目代号 |

核心用法

ArXiv Search Collector 是一套模型驱动的学术论文检索工作流，专为需要智能查询规划与相关性过滤的研究场景设计。其核心流程分为五步：首先通过 init_collection_run.py 初始化收集任务，配置研究主题、关键词、学科类别及时间范围等参数；随后由模型自动扩展主题生成多个聚焦查询，使用布尔逻辑（OR 组合同义词、AND 连接语义组）构建 arXiv API 就绪的检索式；接着通过 fetch_queries_batch.py 或单条命令逐个获取查询结果的元数据；获取后由模型人工审阅每个查询的结果列表，通过索引标记决定保留哪些论文；最后使用 merge_selected_papers.py 合并选定结果并完成去重，生成标准化的论文集目录结构。

该技能强调"脚本为工具，模型做决策"的设计理念——查询的生成、相关性的判断均由模型主导，而非依赖固定的规则启发式。系统支持多语言输出（通过 --language 参数控制），当设置为中文等非英语语言时，所有生成的 Markdown 文档将以该语言呈现。

显著优点

智能检索策略：技能内置科学的查询分配算法，根据目标范围自动计算每条查询的采样量，采用 2-3 倍超采样确保召回率，同时避免过度请求。查询构造遵循最佳实践，保留原始主题表述的同时扩展规范化术语和同义词，有效覆盖学术文献的多种表达方式。

完善的工程机制：具备完整的速率限制保护（默认 5 秒间隔）、指数退避重试（最多 4 次，基础 5 秒、最大 120 秒）、429/503 错误处理及抖动机制。采用运行级状态文件共享冷却状态，确保多步骤间的协调节流。支持缓存复用和强制刷新，兼顾效率与数据新鲜度。

零依赖安全架构：完全基于 Python 标准库实现（argparse、json、urllib、xml.etree 等），无第三方包依赖，彻底规避供应链攻击风险。代码结构清晰，职责分离良好，约 1,686 行代码分布于 4 个核心脚本，维护性强。

灵活的迭代工作流：支持增量式扩展收集，当初轮结果相关性不足或数量欠缺时，可调整查询策略（通常是扩展同义词 OR 组）、追加新查询并重新合并，系统会智能加载历史选择并应用更新，形成持续优化的闭环。

潜在缺点与局限性

人工依赖度高：模型需要深度参与查询设计和相关性判断流程，对使用者的学术背景和专业判断有较高要求。若模型对领域术语理解不足，可能导致查询构造偏差或相关性过滤失误。

arXiv API 本身限制：受限于 arXiv 官方 API 的返回上限（单次最大 2,000 条）和速率限制，大规模系统性综述需要分阶段、分批次执行，收集周期可能较长。API 不提供全文内容，仅能获取元数据，后续需配合 arxiv-paper-processor 等技能获取 PDF 和正文。

英文中心化：arXiv 平台以英文论文为主，虽支持语言参数本地化输出，但检索本身对非英语学术文献的覆盖有限，多语言研究需辅以其他数据源。

无实时全文相关性分析：相关性判断基于标题、摘要等元数据，而非全文语义分析，对于标题抽象或跨学科论文可能存在误判。

适合的目标群体

该技能主要面向科研人员、研究生、技术文献综述作者、企业研究院的知识管理团队以及需要系统性追踪特定技术领域进展的 AI 开发者。特别适合正在进行系统性文献综述（systematic review）、技术趋势追踪、竞品分析或研究背景调查的用户。对于 Lean 证明助手、大语言模型形式化验证等交叉领域的研究者，技能内置的查询模板具有直接参考价值。

使用风险

性能风险：大规模收集时，串行 API 调用配合速率限制可能导致执行时间较长，建议在后台运行或分阶段执行。磁盘空间方面，元数据虽轻量，但长期积累配合后续 PDF 下载可能占用显著存储。

数据一致性风险：arXiv 数据更新存在延迟，API 返回与网站最新状态可能存在时间差。依赖缓存时需留意 --force 刷新机制，避免基于过时数据做决策。

操作误用风险：fetch_queries_batch.py 允许通过 --python-bin 和 --fetch-script 参数自定义执行路径，虽经 shlex.quote() 转义，理论上存在路径注入可能。建议仅在可信环境中使用，避免接受外部不可控的参数输入。

合规提示：arXiv 数据遵循其使用条款，自动化收集需遵守 robots.txt 及 API 使用政策，本技能的速率限制设计已充分考虑合规性，但用户仍需确保最终使用场景符合学术数据使用规范。