tech-news-digest

📰 五层数据源智能聚合,一键生成技术日报

自动化科技新闻聚合工具,整合RSS、Twitter、GitHub、Reddit和网页搜索五层数据源,内置质量评分与去重机制,支持Discord、邮件及PDF多格式输出。

收藏
29.2k
安装
8.4k
版本
3.11.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

tech-news-digest 是一款面向技术从业者的自动化新闻聚合系统,通过五层数据收集架构实现全面的科技资讯覆盖:

  • RSS订阅源(49个):涵盖AI实验室官方博客、技术媒体、加密货币资讯
  • Twitter/X KOL监控(48位):AI研究者、加密货币领袖、科技高管动态
  • GitHub Releases追踪(28个仓库):LangChain、vLLM、DeepSeek等主流开源项目
  • Reddit社区(13个子版块):r/MachineLearning、r/LocalLLaMA等技术讨论
  • 网页搜索层:针对LLM、AI Agent、Crypto、Frontier Tech四大主题的自动搜索

显著优势

1. 统一数据模型与质量评分:所有来源转换为标准化格式,基于时效性、来源权威性、互动数据等多维度计算质量分数,自动去重(85%标题相似度阈值)

2. 智能并行流水线run-pipeline.py 统一编排五层采集,30秒内完成全量数据获取、合并与评分,支持失败重试与优雅降级

3. 灵活配置体系:工作区配置可覆盖默认源,支持启用/禁用特定源、自定义话题定义、调整搜索查询与展示规则

4. 多格式输出:内置Discord(移动优化)、邮件(富HTML)、PDF(A4排版,支持中文)三套模板,满足团队协作与个人阅读场景

5. 完善的运维支持:配置验证脚本、源健康监控(7天失败率追踪)、自动归档管理(90天清理)、详细日志输出

潜在局限

  • API依赖成本:Twitter数据需要twitterapi.io($3-5/月)或官方X API,网页搜索需要Tavily或Brave API key
  • 无实时推送机制:基于定时轮询(cron),非真正实时流式更新
  • 中文内容支持有限:PDF模板支持中文排版,但默认源以英文科技圈为主
  • 部署复杂度:需配置多组环境变量、管理workspace目录权限,对非技术用户门槛较高

适用人群

  • 技术团队负责人:需要定期向团队同步前沿动态
  • 独立开发者/研究者:希望高效追踪多源信息而不被信息流淹没
  • 投资机构分析师:监控技术趋势与开源生态演进
  • 科技内容创作者:寻找选题灵感与权威信源

常规风险提示

  • API配额管理:Twitter/GitHub/搜索API均有严格速率限制,过量采集可能导致临时封禁
  • 隐私合规:Reddit数据通过公开JSON API获取,但企业场景需注意员工监控合规性
  • 信息过载:默认配置包含138个源,建议根据实际需求裁剪,避免噪音干扰
  • 供应链安全:依赖feedparser、jsonschema等可选Python库,建议虚拟环境隔离

tech-news-digest 内容

暂无文件树

手动下载zip · 110.6 kB
contentapplication/octet-stream
请选择文件