分布式計算平臺Hadoop環(huán)境下的組網(wǎng)方案vnew課件

1、分布式計算平臺Hadoop環(huán)境下的組網(wǎng)方案Hadoop起源MapReduce和HDFS介紹Hadoop的流量模型組網(wǎng)設(shè)計Hadoop介紹Doug Cutting說：這個名字是我的孩子給一頭吃飽了的棕黃色大象取的。我的命名標準是簡短、容易發(fā)音和拼寫，沒有太多的含義，并且不會被用于別處。小孩是這方面的高手。Google就是小孩子起的名字。2002年，Hadoop起源于Apache Nutch，一個開源的網(wǎng)絡(luò)搜索引擎。后來，開發(fā)者認為該引擎的架構(gòu)可擴展度不夠，不能解決數(shù)十億網(wǎng)頁的搜索問題。怎么辦呢？2003-04年，Google發(fā)表了舉世聞名的三大論文： BigTable一個分布式的結(jié)構(gòu)化數(shù)據(jù)存儲系

2、統(tǒng) GFSThe Google File System MapReduce個處理和生成超大數(shù)據(jù)集的算法模型的相關(guān)實現(xiàn)Hadoop起源/MapReduce和HDFS的工作流Laod data into the cluster (HDFS Write)。Analyze the data(Map Reduce)Store the results in the cluster(HDFS Write)Read the results from the cluster(HDFS Read)MapReduce介紹MapReduce運行原理Map階段： Input Split Map運算 緩存（內(nèi)存中） Sp

3、ill to Disk / Partition 排序 Sort/Merge on Disk Shuffle階段（In many ways, the shuffle is the heart of MapReduce and is where the “magic” happens）Reduce階段 排序 Sort/Merge （內(nèi)存到磁盤） Reduce運算 Output （輸出到HDFS)MapReduce圖解Buffer默認為100MB超出Buffer的部分為，被Spill到磁盤。可以設(shè)置Buffer閥值為80%默認可將10個Spill文件并行寫入Merge文件Spill、Merge都可以

4、壓縮。用CPU換IO默認情況，Reduce最多只能同時下載5個Map的數(shù)據(jù)，mapred.reduce.parallel.copiesJobTracker和TaskTrackerJobTracker：協(xié)調(diào)作業(yè)（job）的運行?？蛻舳耍禾峤籑apReduce作業(yè)。TaskTracker：運行作業(yè)劃分后的任務(wù)（task）。一個Job可以被劃分成多個Task，每個Maper負責運行一個Task。MapReduce運行流程Hadoop Distributed File System介紹HDFSHadoop分布式文件系統(tǒng)以集群的方式存儲海量數(shù)據(jù)：PB級對HDFS來說，一次寫入，多次讀取是最高效的訪問模式

5、。商用硬件：使用普通的PC Server構(gòu)建集群。HDFS被設(shè)計成，如果某些Server遇到故障，集群應(yīng)不受到影響，繼續(xù)運行且不讓用戶察覺到明顯的中斷。低時間延遲的訪問：要求時延低的的應(yīng)用，例如幾十毫秒，HDFS不適合。HDFS是為高數(shù)據(jù)吞吐量應(yīng)用優(yōu)化的，這可能會以高時延為代價。目前，對于低延遲的應(yīng)用，Hbase是更好的選擇。HDFS數(shù)據(jù)寫入剖析HDFS副本的布局相同節(jié)點中的進程。同一Rack上的不同Node。同一DC中的不同Rack上的Node。不同DC中的Node。某電商Hadoop集群案例某電商Hadoop集群規(guī)?？?cè)萘?0PB數(shù)據(jù)每天增長超過100T總共2800多臺機器約150000道

6、作業(yè)/天每日掃描數(shù)據(jù)總量約5PB，產(chǎn)生數(shù)據(jù)總量約500TBSalve：6 Cores CPU*2、48G Mem、2T12 HDSlave：8 Map、8 Reduce從0:10-24:00都有任務(wù)在運行，但其中80%的任務(wù)在0:10-9:00之間完成，這段時間是最重要的生產(chǎn)時段Hadoop流量特征MapReduce圖解流量特征MapReduce的Shuffle階段，會造成流量多打一。產(chǎn)生MicroBurst、Incast等現(xiàn)象。使用TCP作為通訊協(xié)議。整網(wǎng)盡量做到低收斂比。From The Viewpoint Of Network 組網(wǎng)設(shè)計網(wǎng)絡(luò)架構(gòu)CSW-1CSW-2CSW-3CSW-4N3

7、548-1N3548-2N3548-3N3548-NServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersServersS

8、erversServersServersServersServersServersServersServersServers設(shè)計思路靈感來自于Multi-Chassis Router CRS ： Hadoop集群內(nèi)部主要是巨大的東西向流量 加速比/Speedup （為什么要有多個平面？） ，相關(guān)術(shù)語：HOLB、VoQ ECMP ，相關(guān)術(shù)語： Round Robin、Per Flow Buffering Fabric、Backpressure Self Routing，相關(guān)術(shù)語： CrossBar Fabric使用最新的Nexus3548，并利用其最新的特性： Buffer Allocation

9、、Management DCTCP理論基礎(chǔ)出自于上世紀60-70年代的論文CLOS Fat Tree，但是網(wǎng)絡(luò)結(jié)構(gòu)絕對不是翻新，至少在2010年以前，整個工業(yè)界大部分還是使用傳統(tǒng)的3層匯聚架構(gòu)CRS架構(gòu)Good HoLB solutions Virtual Output Queues and Backpressure TXTXRXRX40G40G112G112GVOQ (Virtual Output Queues) Cisco 12000 or ASR9000 per-destination slot queues 4-16 destination slots hundreds VOQs pe

10、r card!Fabric QoS + backpressure Cisco CRS-1 (1296 slots!) 2.8x egress overspeed 4 queues at each point vital bit packet packingIngress LinecardsTXTXRXRXEgress Linecards10G10G10G10Garbiter grantgrantVirtual Output QueuesVoice: strict schedulingMulticast: extra queues Destination QueuesVoice: strict

11、schedulingMulticast: extra queues Overspeed QueuesVoice: strict schedulingMulticast: extra queues Fabric QueuesVoice: strict schedulingMulticast: extra queues backpressureBene Self-Routing, Buffering Fabric no arbiterIngress LinecardsTXTXTXTXRXRXRXRXEgress LinecardsCRS-1 Switch Fabric dual-stage Ben

12、e Fabric QoS (4 queues) per port backpressure Replicates Multicast scales up to 1176 slots QoS QoS QoS QoS QoS112 Gbps45 GbpsBACKPRESSURES1S2S3CRS-1 Switch Fabric 為什么不使用Crossbar，而要使用Benes？Benes網(wǎng)絡(luò)最大的優(yōu)點是：相對一個沒有中間交換過程的Crossbar結(jié)構(gòu)，對于要實現(xiàn)一個nn的全交換，Benes網(wǎng)絡(luò)所需要的連接節(jié)點 數(shù)目要小的多。所以這是一個成本問題。Self-RoutingMicroBurst in

13、MapReduce Shuffle Stage發(fā)生MircroBurst之后：在Node上可以發(fā)現(xiàn)大量的TCP Retransmission，IncastKbytes3847681152153619202304268830723456384061449/15/2012 3:11:01 PM5051090140000009/15/2012 3:11:02 PM00000109010050009/15/2012 3:11:03 PM00000010801105009/15/2012 3:11:04 PM00000100120300009/15/2012 3:11:05 PM051085150000

14、0009/15/2012 3:11:06 PM200500000000001234562448302928272625PacketNexus 3548 Buffer吸收溢出的流量Active Buffer Monitoring# Of SamplesAlgoBoost Buffer Histogram Shared BufferSoftware PollingHardware Polling僅靠Buffer行嗎？一個有意思的現(xiàn)象，使用了大Buffer的交換機之后，JOB的時間會縮短，吞吐量會上去，但是仍然會看到有TCP Retransmission 這是因為心跳和TCP ACK等信令報文被積壓

15、在了Buffer中，沒有及時到達，導致TCP重傳1234562448302928272625PacketShared BufferTCP數(shù)據(jù)報文TCP ACK報文Job Tracker與Task Tracker之間的心跳報文NameNode與DataNode之間的心跳報文高吞吐 與 低延遲為了減緩TCP Incast，高吞吐量需要Switch具備一定的Buffer，來緩存溢出的流量。但是低延遲則相反，留在Buffer中的時間越短越好。心跳報文/TCP ACK需要低延遲，需要被快速的送達目的地。如何讓這類報文避過Buffer的延遲？使用DCTCP，減少TCP Incast帶來的流量溢出。在保持高

16、吞吐量的同時，將Buffer隊列維持在一個較小的占用比例，以此讓心跳報文/TCP ACK在Buffer中停留的時間大大縮短。N3548支持DCTCP，同時具備ULL，所以會讓心跳報文/TCP ACK傳遞的更快。ECN首先由傳輸層進行能力協(xié)商協(xié)商完畢后控制IP頭的ECT、CE標致位接收端接收到CE包，向發(fā)送端發(fā)送擁塞通知目前TCP通過使用兩個預留標志位來實現(xiàn)能力協(xié)商和擁塞通知TCP新建標志位為CWR（Congestion Window Reduce）和ECE（ECN-Echo）UDP等其余傳輸層協(xié)議需要應(yīng)用層通知ECN:Congestion NotificationSYN=1, ECE=1, C

17、WR=1支持擁塞通告，也支持擁塞窗口調(diào)整SYN=1, ACK=1, ECE=1，CWR=0支持擁塞通告，不支持擁塞窗口調(diào)整ACK=1，ECE=0，CWR=0 能力協(xié)商結(jié)束TCP 握手階段擁塞發(fā)生IP ECT=1, CE=0IP ECT=1, CE=0IP ECT=1, CE=1ACK=N, ECE=1，CWR=0通知發(fā)生擁塞Data, CWR=1接收到擁塞通知，發(fā)送窗口減半ACK=M, ECE=0, CWR=0接收到CWR=1，ECE清除，否則持續(xù)發(fā)送傳統(tǒng)的ECN模式 Data Center TCP AlgorithmSwitch side: Mark packets when Queue Length K.Queue is not fullSender side:Maintain running average of fraction of packets marked ().In each RTT:Adaptive window decreases:Note: decrease factor between 1 and 2.BKMarkDont MarkSource: Data Center TCP (DCTCP), SIGCOMM 2010, New Dehli, India, August 31, 2010.