Hadoop组件与相关端口

江小悠 13 0

NameNode:类似于 Linux中的root根目录,用于管理数据块映射、处理客户端的读写请求、配置副本策略和管理HDFS的名称空间;端口号50070

DataNode:在HDFS中真正存储数据,负责存储 client发来的数据块 block、执行数据块的读写操作

ResourceManager:YARN集群主控节点,负责协调和管理整个集群的资源;端口号8088

NodeManager:负责管理一个YARN集群中的每一个节点端口号8042

HBase:分布式的开源数据库,依赖 Hadoop生态系统;端口号16010

Kafka:分布式消息中间件

HDFS: Hadoop DistributedFile System, Hadoop分布式文件系统

YARN: Hadoop资源管理器

Kylin:开源的分布式分析型数据仓库,主要提供Hadoop/Spark之上的SQL查询接口及多维分析等功能

Hadoop的框架最核心的设计就是:hdFs和 MapReduce.Hdfs为海量的数据提供了存储,则 MapReduce为海量的数据提供了计算。

发表评论 取消回复
表情 图片 链接 代码

分享