核心用法
Kekik Crawler 是一款基于 Scrapling 的轻量级无浏览器爬虫工具，采用单一职责原则（SRP）的清晰架构设计。用户通过命令行快速启动抓取任务，支持两种输入模式：直接传入 URL 列表（--urls）或使用查询词组合（--queries）。框架内置 person-research 和 deep-research 两种预设模板，分别对应常规人物信息检索与深度调研场景，输出格式支持 JSONL 行存储与结构化报告（JSON）。
任务执行由 core/crawl_runner.py 统一编排，具备检查点（checkpointing）机制，可在异常中断后恢复进度。输出目录默认为 outputs/，便于结果管理与后续分析。
显著优点
- 无浏览器依赖：基于 Scrapling 实现纯 HTTP 请求抓取，资源占用低，适合大规模并发
- 架构清晰：SRP 设计降低模块耦合，便于二次开发与维护
- 预设驱动：内置常用场景模板，降低配置门槛
- 容错续爬：检查点机制保障长周期任务的可靠性
- 输出友好：JSONL + JSON 报告双轨输出，兼容主流数据分析流程
潜在局限
- 无浏览器环境意味着无法处理重度 JavaScript 渲染页面（SPA、动态加载内容）
- 预设模板覆盖场景有限，复杂反爬策略需自行扩展
- 缺少分布式调度能力，单机性能天花板明显
- 文档与社区支持较新，生态成熟度不及 Scrapy 等老牌框架
适合人群
- 需要快速搭建轻量爬虫的数据工程师与分析师
- 追求代码简洁、避免浏览器开销的技术团队
- 从事人物信息调研、舆情监控等确定性抓取场景的研究者
常规风险
- 反爬封禁：高频请求易触发 IP 限制，需配合代理池与请求频率控制
- 数据合规：抓取个人信息需遵循 GDPR、个保法等法规，避免法律风险
- 目标站点变更：HTML 结构变动导致解析失效，需持续维护选择器规则
- 检查点一致性：极端情况下检查点文件损坏可能造成进度丢失