核心功能与用法
novel-scraper 是一款面向笔趣阁等小说网站的轻量级抓取工具，采用 curl + BeautifulSoup 技术栈，针对低内存服务器场景深度优化。用户可通过命令行指定单章或多章 URL，批量抓取后输出为标准化的 TXT 文件，保存至 ~/.openclaw/workspace/novels/ 目录，文件名格式为「书名_第 X-Y 章.txt」。
显著优点
- 内存友好设计：内置内存监控（默认 2.5GB 阈值），每抓取 3 章自动释放浏览器会话，避免长时间运行导致内存溢出
- 智能抓取机制：自动检测分页章节（最多 5 页）、过滤导航广告等无关内容，支持断点续传和缓存机制防止重复抓取
- 灵活配置扩展：通过
configs/sites.json可适配新网站，仅需配置 CSS 选择器即可扩展支持范围 - 会话复用优化：多章节任务复用同一浏览器实例，减少连接开销
潜在局限与风险
- 法律合规风险：抓取网络小说可能涉及版权问题，笔趣阁等平台本身存在版权争议，用户需自行承担法律后果
- 网站结构依赖：目标网站 HTML 结构变更会导致解析失败，需手动更新
Biquge2026Adapter或配置选择器 - 功能边界限制：目前仅完整支持笔趣阁（bqquge.com），其他网站需自行配置；不支持动态渲染的 JavaScript 重度站点
- 稳定性问题：网络波动或反爬机制可能导致抓取失败，需依赖
--retry重试机制
适合人群
- 需要在低配置服务器（如树莓派、小型 VPS）上批量备份网络小说的个人用户
- 具备基础 Python 和命令行操作能力的技术用户
- 有特定小说存档需求、且了解相关版权风险的读者
常规风险提示
1. 版权合规：务必确认抓取内容的使用权限，避免商业传播
2. 服务器负载：批量抓取时注意目标站点的访问频率，建议配合 --wait 参数设置合理延迟
3. 数据安全：缓存文件存储于 /tmp/novel_scraper_cache/，多用户环境需注意权限隔离
4. 来源可信度：笔趣阁类网站内容未经官方审核，可能存在章节错乱、内容篡改等问题