核心功能
CSV Pipeline是一套基于Python标准库（csv、json、collections等）构建的轻量级数据处理方案，无需安装第三方依赖。核心能力覆盖：数据格式转换（CSV↔JSON↔JSONL）、行列过滤与变换、分组聚合统计、多表关联（inner/left join）、去重清洗、以及Markdown报表生成。
显著优势
- 零依赖部署：仅依赖Python 3内置模块，兼容Linux/macOS/Windows全平台
- 双模式执行：简单操作可用bash工具链（head/awk/sort），复杂逻辑切至Python脚本
- 流式处理支持：提供
stream_process接口处理超大规模文件，避免内存溢出 - 防御式编码：内置数据类型校验、空值规范化、编码容错（UTF-8/BOM处理）
- 完整ETL闭环：从数据探查、清洗转换到报表输出的一站式工作流
潜在局限
- 性能瓶颈：纯Python实现，百万级以上数据聚合性能显著低于Pandas/Polars
- 类型推断弱：需手动指定schema进行校验，无自动类型推断
- 缺失高级分析：无内置统计检验、可视化、机器学习集成能力
- 关联限制：join实现为内存哈希表，两表均需载入内存（非流式）
适用人群
数据分析师、运维工程师、BI开发者需要快速处理中小规模（<100万行）结构化数据，且受限于环境无法安装Pandas/NumPy等重型库的场景；适合嵌入自动化脚本、CI/CD流水线或Serverless环境。
常规风险
- 数据丢失风险：流式处理中
transform_fn返回None会静默丢弃行，需显式日志 - 编码问题：未声明编码的CSV可能在Windows中文环境出现乱码，建议强制
utf-8-sig - 数值精度：使用float进行财务计算可能产生精度误差，敏感场景应换用Decimal
- 注入风险：拼接SQL或shell命令时若数据含特殊字符需额外转义（当前未内置防护）