hadoop三大組件:Client、Master、Slave。Hadoop集群可以定義為一種特殊類型的計(jì)算集群,旨在用于分布式計(jì)算環(huán)境中存儲(chǔ)和分析大量非結(jié)構(gòu)化數(shù)據(jù)。這樣的集群可以在低成本計(jì)算機(jī)上的Hadoop開源分布式處理軟件上運(yùn)行Hadoop集群架構(gòu)。
Client:
它既不是主設(shè)備也不是從設(shè)備,客戶端的工作是提交MapReduce作業(yè),以描述應(yīng)如何處理數(shù)據(jù)的方式,然后在完成作業(yè)后檢索數(shù)據(jù)以了解響應(yīng)。
Masters:
Master由3個(gè)組件組成,即NameNode,Secondary Node Name和Job Tracker。
Slaves:
從節(jié)點(diǎn)是Hadoop群集中的大多數(shù)計(jì)算機(jī),并負(fù)責(zé)存儲(chǔ)數(shù)據(jù)和處理計(jì)算。
Hadoop集群以提高數(shù)據(jù)分析應(yīng)用程序的速度及其可伸縮性而被應(yīng)用,Hadoop集群具有很高的抗故障能力,因?yàn)槊總€(gè)數(shù)據(jù)塊都復(fù)制到其他節(jié)點(diǎn)上,以確保在單個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)不會(huì)丟失數(shù)據(jù)。