1、HDFS

    负责海量数据的分布式存储。

    支持主从结构：主节点支持多个NameNode，从节点支持多个DataNode。

    NameNode负责接收用户请求，维护目录系统的目录结构；DataNode主要负责存储数据。

2、YARN

    负责管理集群资源的管理和调度，包括CPU和内存，支持主从结构；主节点最多可以有2个，从节点可以有多个。

    主节点（ResourceManager）进程主要负责集群资源的分配和管理。

    从节点（NodeManager）主要负责单节点资源管理。

3、MapReduce

    计算框架之一。

    编程模型，主要负责海量数据计算，主要由两个阶段组成：Map和Reduce。

    Map阶段是一个独立的程序，会在很多个节点上同时执行，每个节点处理一部分数据。

    Reduce阶段也是一个独立的程序，可以理解未一个单独的居合程序。

分别是：分布式存储系统，分布式计算框架，集群管理和调度（给程序分配资源）。

Yarm的数据来源和去向都是HDFS.

在Yarm上运行很多的计算框架，例如mapreduce.

HDFS架构分析：

分布式存储：由HDFS决定数据存储在哪个从节点上。

支持主从架构：

Map Reduce架构：

map体现在代码中就是一个类。

reduce就是一个聚合统计程序。

Yarm架构：

总结：数据存储和资源调度都是分布式的主从结构。

yarn资源管理调用

mapreduce分布式集成框架

hdfsf分布式存储系统

Yarn架构：主节点最多可以有两个，从节点可以有N个

mapreduce：map局部计算，reduce把map计算的结果汇总聚合

hdfs分布式存储架构：

namenode维护系统目录，datanode负责存储数据

Yarn：资源调度

MapReduce：数据计算

HDFS：存储数据

yarn架构分析

从节点（NodeManager）资源管理包含CPU和内存资源

mapreduce架构分析

hdfs架构分析

主节点最多可以有两个

三大核心组件

HDFS,Yarn主节点最多有两个主节点，多个从节点

yarn也符合主从节点，主节点最多两个

MapReduce是一个编程模型，主要负责数据的计算。主要由Map阶段（一个独立的程序，会在多个节点上同时执行）和Reduce阶段（一个独立的程序，一个单独的聚合程序即可）。

HDFS支持主从结构，主节点支持多个NameNode（负责接收用户的请求），从节点支持多个DataNode（负责存储数据）

Yarn架构分析

1、Yarn主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个。

2、主节点（ResourceManager）进程主要负责集群资源的分配和管理

3、从节点（NodeManager）主要负责单节点资源管理

MapReduce架构分析

1、MapReduce是一个编程模型，主要负责海量数据计算，主要由两个阶段组成：Map和Reduce

2、Map阶段是一个独立的程序，会在很多个节点上面同时执行，每个节点处理一部分数据

3、Reduce阶段也是一个独立的程序，在这先把Reduce理解为一个单独的聚合程序即可。

HDFS架构分析

1、HDFS负责海量数据的分布式存储

2、HDFS支持主从结构，主节点支持多个NameNode，从节点支持多个DataNode

3、NameNode负责接收用户请求，维护目录系统的目录结构。DataNoe主要负责存储数据。

Hadoop三大核心组件介绍

1、HDFS

2、Mapreduce

3、YARN

yarn架构分析图

mapreduce架构分析图

hdfs架构分析图

MapReduce

HDFS架构分析

hdfs：海量数据的抓取

yarn：管理资源

MapReduce：计算框架

Yarn架构分析

MapReduce架构分析