Ai Research Scraper

核心用法

ai-research-scraper 是一款面向AI从业者与科技关注者的信息聚合技能，通过命令行调用 Python 脚本从预设的权威科技媒体抓取最新内容。用户可执行基础抓取命令快速获取资讯，也可通过 --max-tokens、--days、--topic 等参数精细控制输出长度、时间范围与主题聚焦。配置层面支持自定义 references/websites.txt 增删信源，实现个性化监控列表。

显著优点

• 权威信源聚合：整合 TechCrunch、MIT Technology Review、Google/Microsoft AI Blog 等业内高影响力媒体，信息质量有保障
• 轻量化设计：强制限制摘要长度与数据量，配合 1 小时缓存机制，降低 token 消耗与网络负载
• 工程健壮性：内置超时重试、备用搜索（tavily-search）降级方案，显著提升抓取稳定性
• 灵活可配置：网站列表、摘要长度、主题筛选均可自定义，适应多样化信息需求

潜在缺点与局限性

• 功能精简代价：翻译功能被移除，非英语用户需自行处理外文内容
• 覆盖范围有限：仅支持预设的 6 个英文科技媒体，对 arXiv、PaperWithCode 等学术预印本平台及中文信源无原生支持
• 依赖外部服务：备用搜索依赖 tavily-search，若该服务不可用则降级能力受限
• 定时更新未明确：文档提及支持定期抓取，但未说明具体实现方式（如 cron 或内置调度）

适合人群

• AI产品经理与创业者：快速跟踪竞品动态与行业趋势
• 技术投资人：高效筛选值得深度研究的技术方向
• 开发者与研究者：获取产品化落地的技术资讯，替代繁琐的 RSS 订阅管理

常规风险

| 风险类型 | 说明 | 缓解措施 |

|---------|------|---------|

| 信息时效性 | 缓存机制可能导致 1 小时内内容重复 | 紧急需求可手动清除缓存或调整缓存时长 |

| 源站反爬 | 目标网站可能封禁自动化抓取 | 已优化超时重试，极端情况切换 tavily-search |

| 内容版权 | 聚合摘要仍涉及原始内容引用 | 仅输出摘要与链接，引导用户访问原站 |

| 单点故障 | 单一脚本运行无分布式容错 | 建议结合外部监控与定时任务重试机制 |

核心功能

ai-research-scraper 是一款面向AI从业者与产品经理的信息聚合技能，专注于从头部科技媒体抓取AI产品发展动态。它预置了TechCrunch AI、MIT Technology Review、Google AI Blog等7大权威信源，支持RSS/Feed解析与网页抓取双模式，输出结构化的摘要与原文链接。

显著优点

信源权威性：聚合站点覆盖硅谷主流科技媒体与顶级机构技术博客，信息质量高于一般爬虫工具。 工程优化到位：1小时缓存机制避免重复抓取，tavily-search备用链路解决单点故障，超时重试策略提升稳定性。 输出可控：通过--max-tokens和--days参数精准控制信息负载，适合快节奏阅读场景。 零硬编码密钥：所有翻译/搜索API均需用户自行配置，无内置泄露风险。

潜在局限

翻译功能暂下线：为避免API错误，当前版本已移除多语言翻译，非英语用户需自行处理。 路径硬编码：调用tavily-search技能时使用绝对路径/root/.openclaw/workspace/...，迁移环境需手动调整。 外部依赖较多：依赖4家翻译API+Tavily搜索，任一服务变更都可能影响功能。 无内容去重：相同新闻的多站转载可能出现重复摘要。

适合人群

• AI产品经理：每日快速扫读竞品动态与技术趋势
• 技术记者/分析师：追踪信源一手信息建立素材库
• 投资机构研究员：监控头部公司技术博客发布节奏
• 开发者：需要定期获取AI领域最新论文与开源项目资讯

常规风险

| 风险类型 | 说明 |

|---------|------|

| 网络超时 | 翻译API 5秒超时设置偏激进，弱网环境易失败 |

| 密钥管理 | 用户需自行保管多平台API密钥，配置不当可能泄露 |

| 数据外发 | 翻译/搜索内容发送至Google、百度等第三方服务器 |

| 子进程调用 | 通过`subprocess.run`调用Node.js脚本，需信任路径安全性 |

| 缓存一致性 | 1小时缓存可能导致突发重大新闻延迟呈现 |

整体而言，这是一款功能聚焦、工程务实的资讯类技能，适合对信息时效性要求中等、偏好一站式聚合的用户。