tech-news-digest

📰 6源聚合·智能评分·多格式推送

dev榜 #2

自动化科技资讯聚合系统,整合RSS、Twitter、GitHub等6大数据源,智能去重评分,支持Discord/邮件/PDF多格式输出,适合开发者和投资人追踪前沿技术动态。

收藏
33.9k
安装
8.4k
版本
3.15.0
CLS 安全性认证2026-05-06
点击查看完整报告 >

使用说明

核心功能

tech-news-digest 是一款面向技术从业者的高度自动化资讯聚合工具,通过统一的管道化架构从六大数据源(RSS订阅、Twitter/X KOL、GitHub Releases、GitHub Trending、Reddit、Web搜索)采集科技动态,经质量评分与智能去重后,生成结构化日报/周报。

显著优点

多源整合与智能处理:151个预设优质信源(含62个RSS、48个Twitter KOL、28个GitHub仓库、13个Reddit社区),支持并行抓取、指数退避重试、ETag缓存,30秒内完成全链路数据合并。独创的质量评分系统结合来源优先级、时效性、社交互动数据,自动过滤低价值内容。

灵活的输出格式:内置Discord、邮件(HTML/PDF双版本)、Markdown三种模板,支持中文排版(Noto Sans CJK SC字体),A4 PDF生成适合打印归档。邮件模板包含技术统计摘要与历史存档链接,Discord模板针对移动端优化。

企业级配置管理:工作空间配置覆盖机制允许用户按需启用/禁用信源、自定义主题搜索词与展示规则,而不破坏默认配置。支持GitHub App自动令牌生成、多API密钥轮换(Brave/Twitter),降低运维成本。

安全与可审计设计:纯Python标准库实现(3.8+),零外部依赖强制安装;所有脚本禁止用户输入插值到子进程命令;URL白名单限制HTTP(S)协议;XSS防护的邮件HTML生成。API密钥仅通过环境变量注入,不触碰任何凭证文件。

潜在局限

  • API成本门槛:Twitter数据依赖付费服务(twitterapi.io $3-5/月或官方API),Web搜索需Tavily/Brave密钥,完全免费运行将损失40%信源覆盖
  • 内容深度有限:自动全文提取对付费墙/社交内容可能失效,高价值长文依赖人工enrich步骤
  • 单会话分发限制:OpenClaw架构禁止单次任务跨平台推送(如同时发Discord和Telegram),多平台需配置独立定时任务
  • 评分算法黑盒:质量评分规则硬编码于merge脚本,高级用户无法自定义权重公式

适合人群

  • 技术团队TL/架构师:追踪LangChain、vLLM等基础设施更新,评估技术选型
  • AI/加密领域投资人:监控Sam Altman等KOL动态与GitHub趋势,捕捉市场信号
  • 开发者社区运营:自动化优质内容策展,维持Discord/Slack频道活跃度
  • 独立研究员:构建个性化情报流,替代付费工具如Feedly+Zapier组合

常规风险提示

| 风险类别 | 具体描述 | 缓释措施 |
|---------|---------|---------|
| API速率限制 | Twitter/GitHub免费额度易耗尽 | 内置自动退避、多密钥轮换、无认证降级 |
| 数据时效偏差 | RSS源更新延迟可能导致"旧闻" | 48小时窗口+ freshness参数控制 |
| 配置漂移 | 自定义config与默认schema不兼容 | validate-config.py前置校验 |
| 隐私合规 | 邮件发送需外部SMTP/GoG凭证 | 纯本地PDF生成可选,无强制外发 |
| 供应链安全 | weasyprint等可选依赖的渲染漏洞 | 隔离虚拟环境,最小权限运行 |

安全解读

核心功能

tech-news-digest 是一款面向开发者的自动化技术新闻聚合系统,采用六源统一数据模型,从 RSS 订阅源、Twitter/X KOL 动态、GitHub Releases、GitHub Trending、Reddit 社区和网页搜索六大渠道并行采集科技资讯,经质量评分与去重后生成结构化日报/周报。

核心用法

统一流水线(推荐)

python3 scripts/run-pipeline.py \
  --defaults config/defaults \
  --hours 48 --freshness pd \
  --archive-dir workspace/archive/tech-news-digest/ \
  --output /tmp/td-merged.json --verbose

该命令30秒内完成:6源并行采集 → 智能去重(标题相似度85%阈值)→ 质量评分 → 主题分组。支持 Discord、邮件、PDF 三种输出模板,内置中文排版优化(Noto Sans CJK SC)。

显著优点

  • 开箱即用:预置151个优质源(62个RSS、48位KOL、28个GitHub仓库、13个Reddit社区),覆盖AI/LLM、加密、前沿技术
  • 灵活配置:工作区配置覆盖机制,支持禁用默认源、追加自定义源、完全替换主题定义
  • 质量优先:多维度评分(来源优先级、时效性、互动数据),高价值内容自动提取全文
  • 容错设计:指数退避重试、ETag缓存、API降级链路(如GitHub Token → App自动签发 → 匿名访问)
  • 安全合规:T2级可信来源,无敏感信息硬编码,所有API密钥环境变量注入

局限与风险

  • API依赖:Twitter/X、Brave/Tavily搜索需付费或限额API密钥,免费层有速率限制
  • 内容时效:依赖各平台更新频率,部分RSS源可能延迟或失效
  • 评分偏差:算法评分可能与个人偏好不符,需手动调整topics.json权重
  • 跨平台限制:OpenClaw单会话仅能投递至一个平台(Discord或Telegram),多平台需配置多个定时任务

适合人群

  • 技术团队负责人:追踪AI/开源生态动态,生成团队内部分享
  • 独立开发者:个人知识管理,替代多平台手动浏览
  • 内容运营者:自动化采集素材,生成社区日报

常规风险

| 风险项 | 等级 | 说明 |
|--------|------|------|
| 子进程调用 | 中 | 内部脚本编排、JWT签名、邮件发送共3处,无用户输入注入 |
| 外部API访问 | 低 | 6类公开API,TLS加密,无隐蔽外传 |
| 依赖供应链 | 低 | 仅2个可选依赖,无已知CVE |

安全认证:CLS-Certify v2.1.0 评分78/A级,建议生产环境启用日志审查与依赖版本锁定。

tech-news-digest 内容

config文件夹
defaults文件夹
references文件夹
templates文件夹
scripts文件夹
tests文件夹
fixtures文件夹
手动下载zip · 121.3 kB
sources.jsonapplication/json
请选择文件