【深入淺出 Yarn 架構與實現】1-1 設計理念與基本架構 _生活百科

一、Yarn 產生的背景Hadoop2 之前是由 HDFS 和 MR組成的，HDFS 負責存儲，MR 負責計算。
一）MRv1 的問題

耦合度高：MR 中的 jobTracker 同時負責資源管理和作業控制兩個功能，互相制約。
可靠性差：管理節點是單機的，有單點故障的問題。
資源利用率低：基于 slot 的資源分配模型。機器會將資源劃分成若干相同大小的 slot，并劃定哪些是 map slot、哪些是 reduce slot 。
無法支持多種計算框架：限定了只能用于 MapReduce 程序。

二）Yarn 的誕生由于之前 Hadoop 資源調度的種種問題，新的資源調度框架產生了 —— YARN（Yet Another Resource Negotiator）。
它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。
二、Yarn 的基本架構一）Yarn 三大組件

ResourceManager
Nodemanager
ApplicationMaster

文章插圖
Yarn依然是Master/Slave的結構：

在資源架構層面：RM 是 master、NM 是 slave
在應用運行期間：AM 是 master、container 是 slave

1、ResourceManagerResourceManager 主要由兩個組件構成：調度器( Scheduler）和應用程序管理器（Applications Manager，ASM) 。

調度器（Scheduler）：
- 根據容量、隊列等限制條件（如每個隊列分配一定的資源，最多執行一定數量的作業等），將系統中的資源分配給各個正在運行的應用程序。
應用程序管理器（Applications Manager）：
- 負責管理整個系統中所有應用程序，包括應用程序提交、與調度器協商資源以啟動 ApplicationMaster、監控 ApplicationMaster 運行狀態并在失敗時重新啟動等。

2、NodeManagerNodeManager 是每個節點上的資源和任務管理器。

定時地向 RM 匯報本節點上的資源使用情況和各個 Container 的運行狀態；
接收并處理來自 AM 的 Container啟動/停止等各種請求。

3、ApplicationMasterApplicationMaster 是一個任務最先啟動的容器，用于管理當前任務的調度。

與 RM 調度器協商以獲取資源（用 Container 表示）；
將得到的任務進一步分配給內部的任務；
與NM 通信以啟動 / 停止任務；
監控所有任務運行狀態，并在任務運行失敗時重新為任務申請資源以重啟任務。

4、Container不屬于 Yarn 三大組件，但是 yarn 中資源的抽象。

封裝 NM 上的資源（hadoop2 僅支持 cpu 和內存，hadoop3 擴展網絡、硬盤、GPU 等資源）；
不同于靜態的 slot，container 可以根據需要動態劃分。

二）Yarn 通信協議通信協議共有 5 種如下圖所示：

文章插圖

分布式環境下，需要涉及跨機器跨網絡通信，YARN底層使用RPC協議實現通信。
RPC是遠程過程調用（Remote Procedure Call）的縮寫形式。基于RPC進行遠程調用就像本地調用一樣。
在RPC協議中，通信雙方有一端是Client，另一端為Server，且Client總是主動連接 Server 的。因此，YARN實際上采用的是拉式（pull-based）通信模型。

三、Yarn 工作流程