大數(shù)據(jù)培訓(xùn)_hadoop YARN的資源管理之靜態(tài)資源

大數(shù)據(jù)培訓(xùn)_hadoop YARN的資源管理之靜態(tài)資源
資源概述
大數(shù)據(jù)平臺(tái)的資源分為計(jì)算資源和存儲(chǔ)資源。多租戶可實(shí)現(xiàn)資源的隔離：

?計(jì)算資源
計(jì)算資源包括CPU和內(nèi)存。租戶之間不可以相互占用計(jì)算資源，私有計(jì)算資源獨(dú)立。
存儲(chǔ)資源
存儲(chǔ)資源包括磁盤或第三方存儲(chǔ)系統(tǒng)。租戶之間不可以相互訪問(wèn)數(shù)據(jù)，私有存儲(chǔ)資源獨(dú)立。
計(jì)算資源
計(jì)算資源可分為靜態(tài)服務(wù)資源和動(dòng)態(tài)資源：
靜態(tài)服務(wù)資源
靜態(tài)服務(wù)資源是集群分配給各個(gè)服務(wù)的計(jì)算資源，每個(gè)服務(wù)的計(jì)算資源總量固定，不與其他服務(wù)共享，是靜態(tài)的。這些服務(wù)包括FTP-Server、Flume、Hbase、HDFS、Solr和Yarn。
動(dòng)態(tài)資源
動(dòng)態(tài)資源是分布式資源管理服務(wù)Yarn動(dòng)態(tài)調(diào)度給任務(wù)隊(duì)列的計(jì)算資源。MapReduce、Spark和Hive的任務(wù)隊(duì)列由Yarn來(lái)動(dòng)態(tài)調(diào)度資源。
靜態(tài)服務(wù)資源
簡(jiǎn)介
集群分配給各個(gè)服務(wù)的資源是靜態(tài)服務(wù)資源，這些服務(wù)包括FTP-Server、Flume、Hbase、HDFS、Solr和Yarn。每個(gè)服務(wù)的計(jì)算資源總量固定，不與其他服務(wù)共享，是靜態(tài)的。租戶通過(guò)獨(dú)占或共享一個(gè)服務(wù)來(lái)獲取這個(gè)服務(wù)運(yùn)行時(shí)需要的資源。
靜態(tài)服務(wù)池
靜態(tài)服務(wù)池用來(lái)指定服務(wù)資源的配置。
在服務(wù)級(jí)別上，靜態(tài)服務(wù)池對(duì)各服務(wù)可使用的資源進(jìn)行統(tǒng)一管理：
n限制服務(wù)使用的資源總量，支持配置FTP-Server、Flume、Hbase、HDFS、Solr和Yarn在部署節(jié)點(diǎn)可使用的CPU、I/O和內(nèi)存總量。
n實(shí)現(xiàn)服務(wù)級(jí)別的資源隔離，可將集群中的服務(wù)與其他服務(wù)隔離，使一個(gè)服務(wù)上的負(fù)載對(duì)其他服務(wù)產(chǎn)生的影響有限。
調(diào)度機(jī)制
FusionInsight HD靜態(tài)服務(wù)資源支持基于時(shí)間的動(dòng)態(tài)調(diào)度機(jī)制，可以在不同時(shí)間段為服務(wù)配置不同的資源量，優(yōu)化客戶業(yè)務(wù)運(yùn)行環(huán)境，提高集群的效率。
在多租戶環(huán)境中，多種服務(wù)共享使用集群資源，但是各服務(wù)的資源使用周期可能會(huì)有比較大的區(qū)別。例如以下業(yè)務(wù)場(chǎng)景，對(duì)于一個(gè)銀行客戶：
在白天Hbase查詢服務(wù)的業(yè)務(wù)多。
在晚上查詢服務(wù)的業(yè)務(wù)少而Hive分析服務(wù)業(yè)務(wù)多。
如果只給每個(gè)服務(wù)設(shè)置固定的資源可能會(huì)導(dǎo)致：
白天查詢服務(wù)的資源不夠用，分析服務(wù)的資源空閑。
晚上分析服務(wù)的資源不夠用，查詢服務(wù)的資源空閑。
集群資源利用率不高，而且服務(wù)能力也打了折扣。因此：
白天多配置Hbase服務(wù)資源。
晚上多配置Hive服務(wù)資源。
這種基于時(shí)間的動(dòng)態(tài)調(diào)度機(jī)制可以更高效的利用資源、運(yùn)行任務(wù)

985大學(xué) 211大學(xué) 全國(guó)院校對(duì)比 專升本