HDFS數(shù)據(jù)讀寫過程

HDFS數(shù)據(jù)讀寫過程1HDFS數(shù)據(jù)寫入流程HDFS數(shù)據(jù)讀取流程23編程實現(xiàn)HDFS讀寫讀數(shù)據(jù)的過程1.1HDFS數(shù)據(jù)寫入流程1.1HDFS數(shù)據(jù)寫入流程（1）客戶端向NameNode發(fā)送文件上傳申請。（2）NameNode返回塊ID以及存儲數(shù)據(jù)塊的DataNode地址列表等信息。（3）客戶端向DataNode中寫入數(shù)據(jù)塊。（4）當客戶端寫入一份數(shù)據(jù)塊后，DataNode之間異步進行數(shù)據(jù)塊復(fù)制。（5）最后面的DataNode上數(shù)據(jù)塊寫入完成后，會發(fā)送一個確認信息給前一個DataNode。第一個寫入塊的DataNode反饋確認信息給客戶端，數(shù)據(jù)寫入完畢。（6）客戶端向NameNode發(fā)送最終的確認信息。1.2HDFS數(shù)據(jù)讀取流程1.2HDFS數(shù)據(jù)讀取流程（1）客戶端發(fā)送讀取數(shù)據(jù)的請求給NameNode。（2）NameNode返回數(shù)據(jù)塊ID以及存儲數(shù)據(jù)塊DataNode地址列表。該列表按照存儲起始數(shù)據(jù)塊的DataNode與客戶端的距離進行排序。（3）客戶端直接在最近的DataNode上讀取數(shù)據(jù)。如果讀取失敗，則從另一個副本所在的DataNode上讀取數(shù)據(jù)。1.3利用JAVAAPI讀寫數(shù)據(jù)Hadoop中用于文件操作的主類位于org.apache.hadoop.fs軟件包中Hadoop文件API的起點是FileSystem抽象類FileSystem.get(Configurationconf)來得到所需的FileSystem實例Configuration類的默認實例化方法是以工程中bin目錄中的配置文件為基礎(chǔ)Hadoop的基本文件操作：open、read、write、close下面語句可以得到與HDFS接口的FileSystem對象：Configurationconf=newConfiguration();//配置文件FileSytemhdfs=FileSystem.get(conf);//訪問hdfs分布式下面語句可以得到用于本地文件系統(tǒng)的FileSystem對象：FileSystemlocal=FileSystem.getLocal(conf);//訪問本地Hadoop的文件系統(tǒng)1.3利用JAVAAPI讀寫數(shù)據(jù)FileSystem的open()方法返回的是一個輸入流FSDataInputStream對象，在HDFS文件系統(tǒng)中，具體的輸入流就是DFSInputStream；FileSystem中的create()方法返回的是一個輸出流FSDataOutputStream對象，在HDFS文件系統(tǒng)中，具體的輸出流就是DFSOutputStream。Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");FileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));FSDataOutputStreamout=fs.create(newPath(uri));1.3利用JAVAAPI讀寫數(shù)據(jù)FSDataInputStream封裝了DFSInputStreamFileSystemfs=FileSystem.get(conf);FSDataInputStreamin=fs.open(newPath(uri));Configurationconf=newConfiguration();importorg.apache.hadoop.fs.FileSystem通過ClientProtocal.getBlockLocations()遠程調(diào)用名稱節(jié)點，獲得文件開始部分數(shù)據(jù)塊的位置對于該數(shù)據(jù)塊，名稱節(jié)點返回保存該數(shù)據(jù)塊的所有數(shù)據(jù)節(jié)點的地址并根據(jù)距離客戶端遠近進行排序客戶端獲得輸入流FSDataInputStream以后調(diào)用read()函數(shù)開始讀取數(shù)據(jù)輸入流根據(jù)前面的排序結(jié)果選擇距離客戶端最近的數(shù)據(jù)節(jié)點建立連接并讀取數(shù)據(jù)數(shù)據(jù)從數(shù)據(jù)節(jié)點讀到客戶端，當該數(shù)據(jù)塊讀取完畢時FSDataInputStream關(guān)閉和該數(shù)據(jù)節(jié)點的連接通過ClientProtocal.getBlockLocations()查找下一個數(shù)據(jù)塊1.3利用JAVAAPI讀寫數(shù)據(jù)--讀數(shù)據(jù)的過程FileSystemfs=FileSystem.get(conf);FSDataOutputStreamout=fs.create(newPath(uri));Configurationconf=newConfiguration();importorg.apache.hadoop.fs.FileSystemRPC遠程調(diào)用名稱節(jié)點在文件系統(tǒng)的命名空間中新建一個文件名稱節(jié)點會執(zhí)行一些檢查（文件是否存在，客戶端權(quán)限）FSDataOutputStream封裝了DFSOutputStream數(shù)據(jù)被分成一個個分包分包被放入DFSOutputStream對象的內(nèi)部隊列DFSOutputStream向名稱節(jié)點申請保存數(shù)據(jù)塊的若干數(shù)據(jù)節(jié)點這些數(shù)據(jù)節(jié)點形成一個數(shù)據(jù)流管道隊列中的分包最后被打包成數(shù)據(jù)包發(fā)往數(shù)據(jù)流管道中的第一個數(shù)據(jù)節(jié)點第一個數(shù)據(jù)節(jié)點將數(shù)據(jù)包發(fā)送到第二個節(jié)點依此類推，形成“流水線復(fù)制”為了保證節(jié)點數(shù)據(jù)準確，接收到數(shù)據(jù)的數(shù)據(jù)節(jié)點要向發(fā)送者發(fā)送