核心用法
Hadoop 技能是面向 Apache Hadoop 生态系统的专业集群运维工具，核心功能涵盖三大维度：
HDFS 存储管理 — 提供完整的分布式文件系统操作能力，包括容量监控（hdfs dfsadmin -report）、块健康检查（hdfs fsck）、副本因子调整及损坏数据修复。支持智能存储决策，如为临时数据降低副本数以节省空间，或为关键数据强制校验复制状态。
YARN 资源调度 — 深度集成作业生命周期管理，从队列监控、应用状态追踪到资源重分配。内置调度器识别（Capacity/Fair Scheduler），帮助用户理解不同调度策略下的资源分配行为，避免"任务被杀"类问题的盲目排查。
故障诊断体系 — 建立标准化的诊断流程：先验集群健康（NameNode/DataNode 状态）→ 查存储瓶颈 → 核资源配置 → 定位日志。明确关键日志路径（NameNode、ResourceManager、NodeManager 等），解决 Hadoop 日志分散导致的排查困难。
显著优点
- 诊断流程标准化：强制"Verify Cluster State First"规则，避免运维人员跳过基础检查直接排查业务代码，显著缩短 MTTR
- 资源感知设计：内置 Replication Factor、Memory Settings、Scheduler Type 等关键配置提醒，90% 的容器被杀问题可定位至内存参数不匹配
- 安全操作边界：破坏性操作（
skipTrash删除、强制退出 Safe Mode）明确标注风险，要求显式确认 - 场景化知识嵌入：针对"集群满但删除无效"（Trash 机制）、"时区导致调度错乱"等真实陷阱提供预判指导
潜在局限
- 环境依赖严格：要求预装
hdfs/yarn/hadoop二进制文件，且仅支持 Linux/macOS 环境，Windows 用户需额外配置 - 无自动凭证管理：Kerberos 认证（
kinit/keytab）需用户独立处理，技能本身不托管安全凭证 - 集群级操作风险：
fsck等命令在繁忙集群运行可能引发性能抖动，需人工判断维护窗口 - 生态覆盖有限：聚焦 HDFS/YARN/MapReduce，对上层组件（Hive、Spark、HBase）仅作关联提及，深度问题需配合其他技能
适合人群
- 数据平台运维工程师：负责 Hadoop 集群日常巡检、容量规划、故障响应
- 大数据开发工程师：需要自助排查作业失败原因，优化 MapReduce/Spark on YARN 资源参数
- SRE/系统管理员：从传统 Linux 运维扩展至分布式存储与计算治理
常规风险
| 风险场景 | 说明 |
|---------|------|
| Safe Mode 强制退出 | 若实际存在块缺失，强制退出将导致元数据不一致，可能丢失数据 |
| Trash 机制误解 | 删除大文件后 Trash 仍占存储，集群"满"状态持续，易误判为删除失败 |
| 内存参数倒挂 | 容器内存 < JVM 堆内存时，Linux OOM Killer 介入，日志指向不明 |
| 调度器行为差异 | Capacity 与 Fair Scheduler 的队列抢占、资源预留逻辑截然不同，配置迁移易引发资源争抢 |
| fsck 性能冲击 | 在活跃集群执行全量文件系统检查，可能阻塞 NameNode RPC |
最佳实践建议
1. 建立集群画像：使用 ~/hadoop/clusters/{name}.md 维护每套环境的版本、调度器类型、节点规格等上下文
2. 变更前快照：调整副本因子或队列配置前，记录当前 dfsadmin -report 与 yarn queue -status 基线
3. 日志聚合习惯：将分散的组件日志路径纳入集中采集（ELK/Loki），弥补技能本地化的日志查看局限