tech-news-digest

核心用法

Tech News Digest 是一个面向开发者和技术团队的新闻聚合自动化工具，通过五层数据收集架构（RSS订阅、Twitter/X KOL监控、GitHub发布、Reddit讨论、Web搜索）构建统一的技术信息流。

运行模式：

• 统一管道模式（推荐）：run-pipeline.py 并行执行全部5个数据源抓取，自动完成合并、去重、质量评分，约30秒生成最终报告
• 单源模式：针对特定数据源独立运行，适合调试或定向补充

配置体系：采用"默认+覆盖"的分层设计，用户可在 workspace/config/ 中自定义源配置、主题定义和显示规则，无需修改核心代码。

输出格式：内置Discord、Email、Markdown三套模板，支持2000字符优化、HTML富文本、GitHub兼容表格等场景。

显著优点

1. 多源整合能力强：预置133个高质量源（49 RSS、49 Twitter、22 GitHub、13 Reddit），覆盖AI、加密货币、前沿科技三大领域
2. 质量评分机制：基于来源优先级、时效性、历史重复度等多维度算法排序，非简单时间线堆叠
3. 工程化设计完善：并行抓取、指数退避重试、ETag缓存、GitHub App自动认证等企业级特性
4. 零依赖运行：Python 3.8+标准库即可运行，可选依赖仅增强体验
5. 可审计的安全模型：所有API密钥通过环境变量注入，无隐蔽的网络行为或凭证读取

潜在局限

• API成本：Twitter/X API为付费服务（Bearer Token），Brave Search免费层有速率限制
• 维护负担：RSS源失效、KOL账号变更需持续跟进，133个预置源需要定期有效性检查
• 中文内容支持有限：预置源以英文为主，中文科技媒体需手动配置
• 无原生LLM分析：仅做聚合与评分，不提供AI摘要或趋势解读（需外部扩展）
• 跨平台隔离限制：单次运行只能投递到一个渠道（Discord或邮件），多平台需多任务配置

适合人群

• 技术团队CTO/架构师：需要系统性跟踪技术栈演进
• 开发者社区运营：定时向Discord/Telegram推送精选内容
• 独立开发者/研究员：个人知识管理自动化，替代手动刷推
• 投资机构分析师：监控开源项目动态和KOL观点

常规风险

| 风险类型 | 说明 | 缓解措施 |

|---------|------|---------|

| API速率超限 | Twitter/GitHub免费额度易耗尽 | 配置Token、调整抓取频率、使用GitHub App认证 |

| 信息过载 | 默认配置可能产生过多条目 | 调整 `max_items`、禁用低优先级源、缩短时间窗口 |

| 源失效 | RSS feed 404或格式变更 | 定期运行 `--verbose` 调试，关注 `validate-config.py` 报错 |

| 重复内容 | 同一新闻多源报道 | 内置85%标题相似度去重，历史归档交叉检测 |

|  Cron配置漂移 | 复制粘贴pipeline步骤到cron会导致版本不一致 | **必须**使用 `references/digest-prompt.md` 模板模式，禁止硬编码步骤 |

核心功能与架构

Tech News Digest 是一个企业级科技新闻自动化聚合系统，采用五层数据收集架构（RSS feeds、Twitter/X KOLs、GitHub releases、Reddit、Web Search），通过统一数据模型和质量评分管道实现智能去重与排序。系统设计遵循配置即代码理念，所有133个预设数据源和主题定义均以JSON配置管理，支持工作区级覆盖而不修改核心代码。

显著优势

1. 企业级数据 pipeline

• 并行抓取（10 worker RSS/GitHub，4 worker Reddit），30秒超时+指数退避重试
• 智能去重：标题相似度85%检测 + 历史摘要比对惩罚算法
• 质量评分多维模型：来源优先级 × 新鲜度 × 互动指标

2. 零依赖安全设计

• 纯 Python 3.8+ 标准库实现，可选依赖仅 feedparser/jsonschema
• subprocess 仅限内部脚本协调，无动态代码执行风险
• URL 协议强制验证（仅 http/https），防 SSRF/协议降级攻击

3. 灵活的部署模式

• 统一管道30秒完成全流程，或独立运行单源脚本
• 多格式模板输出：Discord（2000字符优化）、邮件（HTML富文本）、Markdown
• OpenClaw Cron 集成：通过 digest-prompt.md 模板实现"配置即调度"

潜在局限

API 依赖瓶颈：Twitter/X 数据需付费 Bearer Token，免费 tier 限流严格；Brave Search 免费层强制串行查询。无 API 时部分功能降级为搜索界面生成。

跨平台隔离限制：OpenClaw 安全架构强制单会话单渠道，多平台分发需部署多个 Cron 任务。

内容质量不可控：评分算法依赖来源配置优先级，低质量 RSS 源若标记为 priority=true 将污染输出；无内置内容语义分析。

适用场景

• 技术团队每日站会：自动推送前48小时 LLM/AI Agent/加密领域关键动态
• 开源社区维护者：监控22个核心项目（LangChain、vLLM、DeepSeek等）的 release 和讨论
• 投资人/研究员：聚合49位科技 KOL 推文与49个专业媒体 RSS，生成趋势简报

常规风险提示

| 风险类别 | 等级 | 说明 |

|---------|------|------|

| API 密钥泄露 | 低 | 从环境变量读取，无硬编码，但用户需自行保护 ~/.zshenv |

| RSS 源投毒 | 中 | 配置新增恶意 RSS 可导致 XSS（输出模板未做 HTML escape 说明） |

| 数据滞留 | 低 | /tmp 和 workspace/archive 需手动清理，90+天自动清理机制未明确 |

| 合规风险 | 低 | 抓取 Reddit/Twitter 公开数据，符合 GDPR/CCPA 数据最小化原则 |

安全认证结论

CLS-Certify v2.1.0 全扫描评定 S级/80分，T2可信来源（GitHub 公开仓库+活跃维护）。核心安全实践：JWT 签名使用 openssl CLI 而非引入 cryptography 依赖，subprocess 调用范围严格限定 Skill 目录内脚本，网络流量全 TLS 1.2+ 加密。建议生产环境启用 GITHUB_TOKEN 避免未认证限流，并季度审计自定义 RSS 源列表。