hadoop三大組件:Client、Master、Slave。Hadoop集群可以定義為一種特殊類型的計算集群,旨在用于分布式計算環(huán)境中存儲和分析大量非結(jié)構(gòu)化數(shù)據(jù)。這樣的集群可以在低成本計算機上的Hadoop開源分布式處理軟件上運行Hadoop集群架構(gòu)。
Client:
它既不是主設備也不是從設備,客戶端的工作是提交MapReduce作業(yè),以描述應如何處理數(shù)據(jù)的方式,然后在完成作業(yè)后檢索數(shù)據(jù)以了解響應。
Masters:
Master由3個組件組成,即NameNode,Secondary Node Name和Job Tracker。
Slaves:
從節(jié)點是Hadoop群集中的大多數(shù)計算機,并負責存儲數(shù)據(jù)和處理計算。
Hadoop集群以提高數(shù)據(jù)分析應用程序的速度及其可伸縮性而被應用,Hadoop集群具有很高的抗故障能力,因為每個數(shù)據(jù)塊都復制到其他節(jié)點上,以確保在單個節(jié)點發(fā)生故障時不會丟失數(shù)據(jù)。