TOC

Hadoop

Hadoop 核心组件:

  1. HDFS:Hadoop Distributed File System,分布式文件系统
  2. YARN:Yet Another Resource Negotiator,资源管理
  3. MapReduce:分布式计算框架

Hadoop 集群配置表(7 节点)

节点编号 角色 CPU 内存 SSD HDD 运行服务
control-1 控制节点 8 核 32GB 1TB SSD NameNode(Active)、ResourceManager(Active)、ZooKeeper、JournalNode
control-2 控制节点 8 核 32GB 1TB SSD NameNode(Standby)、ResourceManager(Standby)、ZooKeeper、JournalNode
worker-1 计算+存储节点 16 核 64GB 2TB SSD 8TB × 2 HDD DataNode、NodeManager、Spark / MapReduce 计算任务
worker-2 计算+存储节点 16 核 64GB 2TB SSD 8TB × 2 HDD DataNode、NodeManager、Spark / MapReduce 计算任务
worker-3 计算+存储节点 16 核 64GB 2TB SSD 8TB × 2 HDD DataNode、NodeManager、Spark / MapReduce 计算任务
worker-4 计算+存储节点 16 核 64GB 2TB SSD 8TB × 2 HDD DataNode、NodeManager、Spark / MapReduce 计算任务
edge-1 边缘节点 8 核 32GB 1TB SSD Hadoop 客户端(hdfs/yarn 命令行)、Spark 客户端
如果你有魔法,你可以看到一个评论框~