YARN是Hadoop生态中的资源管理系统,它实现了集群资源的统一管理和弹性分配,是大数据分布式计算的核心组件。
本文介绍了YARN的架构设计和工作流程,帮助你理解大数据集群的资源调度机制。
Yarn的基本思想是将 JobTracker 的资源管理和作业的调度/监控两大主要职能拆分为两个独立的进程:
a. 一个全局的 Resource Manager
b. 每个应用对应的 Application Master(AM)
Resource Manager 和每个节点上的 Node Manager(NM)组成了全新的通用操作系统,以分布式的方式管理应用程序。
2019/12/18大约 2 分钟