核心用法
AI Research Scraper 是一款面向AI产品领域的定制化信息采集工具，通过命令行调用 scraper.py 脚本，从预设的权威科技媒体（TechCrunch AI、VentureBeat AI、MIT Technology Review、Google/Microsoft/NVIDIA官方博客）抓取最新研究动态。支持通过 --max-tokens 控制摘要长度、--days 限定时间范围、--topic 聚焦产品发展等参数实现精准信息筛选。
用户可编辑 references/websites.txt 自定义信源列表，采用「网站名称|URL|RSS地址」的管道格式扩展抓取目标。脚本内置1小时缓存机制避免重复请求，并配备超时重试与网络优化策略提升稳定性，极端场景下可降级调用 tavily-search 技能作为备用方案。
显著优点
1. 信源权威性高：聚合硅谷顶级科技媒体与头部企业官方博客，信息质量优于通用搜索引擎
2. 阅读效率优化：强制限制输出token量，生成结构化摘要+原始链接的组合，适合快节奏决策场景
3. 工程化完备：缓存机制、超时重试、备用搜索链路、RSS支持等特性体现生产级设计
4. 低使用门槛：纯Python脚本无需复杂依赖，命令行参数直观，支持灵活配置
潜在局限
- 翻译功能暂不可用：因API错误和网络超时问题已移除，非英文内容处理能力受限
- 覆盖范围偏窄：当前仅支持6个预设站点，长尾AI研究社区（如Hugging Face博客、arXiv每日摘要、独立研究者 newsletter）未纳入
- 摘要质量依赖源站结构：部分网站反爬机制或动态渲染可能导致抓取失败
- 无内容去重机制：跨站点同一事件的重复报道可能被多次呈现
适合人群
- 产品经理/投资人：需快速扫描AI产品赛道动态，建立行业体感
- 技术决策者：关注Google、Microsoft、NVIDIA等巨头官方技术路线披露
- 行业研究员：作为信息雷达的初级过滤层，替代手动刷新多个网站
常规风险
- 网络合规风险：高频抓取可能触发源站反爬策略，存在IP被封禁可能
- 信息时效性偏差：1小时缓存机制在突发重大新闻场景下存在延迟
- 内容摘要失真：自动化摘要可能丢失技术细节或语境，关键决策需回溯原文核实
- 依赖单一技能路径：备用搜索方案依赖
tavily-search的可用性，形成链式依赖风险