Hadoop 核心组件:
- HDFS:Hadoop Distributed File System,分布式文件系统
- YARN:Yet Another Resource Negotiator,资源管理
- MapReduce:分布式计算框架
Hadoop 集群配置表(7 节点)
| 节点编号 | 角色 | CPU | 内存 | SSD | HDD | 运行服务 | 
|---|---|---|---|---|---|---|
| control-1 | 控制节点 | 8 核 | 32GB | 1TB SSD | 无 | NameNode(Active)、ResourceManager(Active)、ZooKeeper、JournalNode | 
| control-2 | 控制节点 | 8 核 | 32GB | 1TB SSD | 无 | NameNode(Standby)、ResourceManager(Standby)、ZooKeeper、JournalNode | 
| worker-1 | 计算+存储节点 | 16 核 | 64GB | 2TB SSD | 8TB × 2 HDD | DataNode、NodeManager、Spark / MapReduce 计算任务 | 
| worker-2 | 计算+存储节点 | 16 核 | 64GB | 2TB SSD | 8TB × 2 HDD | DataNode、NodeManager、Spark / MapReduce 计算任务 | 
| worker-3 | 计算+存储节点 | 16 核 | 64GB | 2TB SSD | 8TB × 2 HDD | DataNode、NodeManager、Spark / MapReduce 计算任务 | 
| worker-4 | 计算+存储节点 | 16 核 | 64GB | 2TB SSD | 8TB × 2 HDD | DataNode、NodeManager、Spark / MapReduce 计算任务 | 
| edge-1 | 边缘节点 | 8 核 | 32GB | 1TB SSD | 无 | Hadoop 客户端(hdfs/yarn 命令行)、Spark 客户端 | 
