Hadoop大數(shù)據(jù)處理講義-C1. 海量數(shù)據(jù)處理概論

2014海量數(shù)據(jù)（MassiveData）（Big2012年，全球BigData相關(guān)IT投資總額為280非結(jié)構(gòu)化非結(jié)構(gòu)化海量數(shù)據(jù)的三大特征數(shù)據(jù)量大小–大容量數(shù)據(jù)類型–多類型數(shù)據(jù)時(shí)效性–高時(shí)效海量數(shù)據(jù)特征（1）–

數(shù)據(jù)大小數(shù)據(jù)大小 柯達(dá)400尼康D50610佳能5D22110海量數(shù)據(jù)特征（2）–結(jié)構(gòu)化數(shù)據(jù)（Structured)VS.非結(jié)構(gòu)化數(shù)據(jù)無格式文本（網(wǎng)頁、郵件等）海量數(shù)據(jù)特征（3）–

長(zhǎng) 短 段報(bào) 時(shí) 微5Database 80G80GSATA①第1盤面的第1磁頭（磁道）②同一柱面的下一磁頭（磁③一個(gè)柱面存儲(chǔ)滿后就下一①計(jì)算第一個(gè)盤面、磁頭、扇②從扇區(qū)讀取數(shù)據(jù)③尋找下一扇區(qū)單硬盤容量提升：MBGBTB系統(tǒng)整體容量提升：DAS、NAS、SAN（StorageAreaNetwork） RAID：RedundantArrayofInexpensiveDisksSource:數(shù)據(jù)庫(kù)機(jī)（DatabaseMachine）專用結(jié)構(gòu)專用結(jié)構(gòu)專用結(jié)構(gòu)多處理器緩存架構(gòu)（Multi-Processor

IPSMFIPCF1FNMF：N：F：

–提高單核增加處理器字長(zhǎng)–

F1F 非對(duì)稱多處理器架構(gòu)非對(duì)稱多處理器架構(gòu)對(duì)稱多處理器架構(gòu)并行計(jì)算（Parallelcomputing）是指在具有并行處理能力的計(jì)算節(jié)點(diǎn)上，將一處理器并行化：超標(biāo)量（Superscalar）、顯式并行指令計(jì)算（ExplicitlyParallelInstructionsComputing，EPIC）、向量處理器（VectorProcessor）、多線程 并行算法的目的－降低FIPSMFIPCF1F/N 例：ScanSort→Scan共享內(nèi)存（Shared共享內(nèi)存（Shared共享磁盤（Shared無共享（Shared

process_time_of_original_process_time_of_

_Scaleup

process_time_

_small_task_on_original_process_time_

_big_task_on_scaleuped_Availability

MTTFMTTR

MTTR：平均維修時(shí)間（MeanTimeToRecovery），代表系統(tǒng)從發(fā)生故障到恢復(fù)正MTTR不變的前提下，提升MTTF（可靠性）

Source:VS