海洋數據庫建設規(guī)范

資料資料..資料地球科學數據共享材料八海洋科學數據庫建設規(guī)范（討論稿）中科院青島海洋科學研究所地球科學數據共享政策與規(guī)范研究組2004年5月.目錄1．前言…………………22．海洋科學數據庫建設總體要求………22．1海洋科學數據庫總體框架構建...............................................22．2具體的數據庫的建庫規(guī)范...................................................22．2．1術語定義........................................................22．2．2具體數據庫的建庫流程............................................32．2．3具體數據庫建設目標..............................................32．2．4數據庫文檔......................................................3海洋數據庫建設規(guī)范實例：中國近海和西北太平洋溫鹽聲密數據庫建設規(guī)范….….41．前言……………….…42．中國近海和西北太平洋溫鹽聲密數據庫建設規(guī)范……………….…42．1適應范圍.................................................................42．2引用標準.................................................................52．3技術術語定義/解釋........................................................62．4編碼、屬性表命名規(guī)則.....................................................72．5元數據標準...............................................................82．6文檔格式.................................................................82．7數據庫建設流程...........................................................82．8數據質量控制............................................................102．9數據庫匯交（集成）（匯交至的方法和途徑等）..............................14前言海洋科學是一門綜合性的學科，涵蓋物理海洋學、海洋地質學、海洋生物學、海洋化學等多個學科，研究工作中所涉及、積累的數據也是多種多樣各不相同，如物理海洋方面水文數據是記錄著某一經緯度、某一時間、某一航次、某一深度的海水溫度、鹽度和密度信息；海洋地質方面基礎地質數據記錄著某一區(qū)域海底深度及海底地貌等信息；而海洋生物方面又可能是某一物種或某一標本的屬性等，因此各方面的數據庫建設也各不相同，建設規(guī)范也就各不相同。根據這種情況作為海洋科學數據庫的建庫單位，一方面我們對整體的數據庫建設有建設規(guī)范（總體要求）；另一方面，要求每一個具體的數據庫要通過建庫的工作確定各自的規(guī)范和標準，這個規(guī)范、標準是代表海洋所水平的，基本也就是代表科學院水平的，而且要求進行必要的鑒定工作成為國家水平的。海洋科學數據庫建設總體要求2．1海洋科學數據庫總體框架構建海洋科學數據庫可以粗略地分成海洋水文子庫、海洋地質子庫和海洋生物子庫三個部分，每個部分又包含了自成系統(tǒng)的多個具體的數據庫。確定海洋科學數據庫的整體框架，（從總結中摘錄），使海洋科學數據庫建和服務設成為日常性的工作。2．2具體的數據庫的建庫規(guī)范2．2．1術語定義源數據集：具體數據庫建庫的數據來源，不拘于數據格式的、不斷增長的數據集合。標準數據集：產生于源數據集，經過數據格式的統(tǒng)一，經過數據排重和質量控制后產生的數據集合，最直接的入庫數據。排重：在數據集中排除重復數據的過程。質量控制：在經過排重的數據集中排除非法數據的過程。專業(yè)性檢索方法：指專業(yè)科學研究所習慣的數據庫的檢索途徑，包括檢索關鍵字。專業(yè)性檢索結果：指專業(yè)科學研究所習慣的數據庫的檢索結果，包括可視結果和標準的數據文件（能夠直接用于專業(yè)研究的標準數據文件）。2．2．2具體數據庫的建庫流程標 具專業(yè)性檢索方法源統(tǒng)一數據格式準數據庫管理系統(tǒng) 體數 數 數 據排重和質量控制 據 據專業(yè)性檢索結果集 集 庫2．2．3具體數據庫建設目標 建成三個數據實體源數據集標準數據集數據庫形成五個數據處理標準（專家鑒定）數據格式標準數據排重方法數據質量控制方法專業(yè)性數據檢索方法專業(yè)性數據檢索結果數據庫的元數據建設建立B/S結構的數據庫檢索手段2．2．4數據庫文檔海洋數據庫建設規(guī)范實例：中國近海和西北太平洋溫鹽聲密數據庫建設規(guī)范1．前言海洋信息是海洋科研、教學、工程設計、規(guī)劃管理、環(huán)境測報及評價、海洋經濟可持續(xù)發(fā)展和軍事海洋環(huán)境條件保證等的主要依據，因此海洋科學數據的收集、處理和數據庫建設具有重大的社會科學意義和緊迫的國家需求。眾所周知，物理海洋學是海洋科學研究和應用的基礎，以海水溫度、鹽度、密度等參數為核心的海洋水文數據則是氣候和海洋環(huán)境生態(tài)研究、環(huán)境預報和評價、工程設計、減災防災及軍事海洋環(huán)境條件保證等的主要背景信息。我國渤、黃、東、南海是世界大洋的一部分，其變化相互聯(lián)系，并深受世界大洋的影響。要研究和預測中國近海和鄰近大洋的海洋環(huán)境變化，必須進行大范圍的長期、同步海洋觀測。進行這樣的海洋調查需要巨大投資，任何一個單位、部門、甚至國家都不可能單靠自己的調查力量或依據未經系統(tǒng)整理的數據去開展大規(guī)模海洋研究工作。因此，海洋水文數據庫建設不但有重要的使用價值，還具有昂貴的產出價值和顯著的社會共有性，同時必須依據科學合理的建設規(guī)范來進行。國際海洋水文信息是海洋水文數據庫的主要數據源。國際海洋水文數據種類繁多，時間序列長，空間分布廣，信息量巨大，且積累速度快。這些數據分別來自全球幾十個國家和地區(qū)；使用的觀測儀器千差萬別；資料的整理方法各不相同；導出參數的計算方法和公式各異；由實測層數據內插標準層的方法也各有長短；甚至采用的數據處理標準和編碼，以及記錄的資料的格式也仍在統(tǒng)一過程中。因此，規(guī)范化的建庫方法和標準化的建設流程，以及先進的排重技術和嚴謹的質控方法都是保證建設合理、適用的海洋信息管理系統(tǒng)的前提條件。本規(guī)范是在總結海洋數據庫體系中有代表性的“中國近海和西北太平洋溫鹽聲密數據庫”的多年建庫經驗的基礎上逐步發(fā)展完善起來的。本規(guī)范的創(chuàng)新及特色之處包括：通用的ODSF1數據輸入/輸出格式、統(tǒng)一的數據排重程序、標準的數據質控方法、規(guī)范的數據庫建設流程和全套國內外通用代碼。它不僅指導了該數據庫的建設，同時對海洋科學其他數據庫的建設有借鑒作用。2．中國近海和西北太平洋溫鹽聲密數據庫建設規(guī)范2．1適應范圍本規(guī)范適用于海洋物理（含溫、鹽、密、聲、流、浪、潮）、海洋氣象和化學數據庫建設中的相關數據處理工作及相關數據庫建設。2．2引用標準國家標準：GB12763.1—91海洋調查規(guī)范海洋調查規(guī)范總則GB12763.7—91海洋調查規(guī)范海洋調查資料處理GB12763.3—91海洋調查規(guī)范海洋氣象觀測GB12763.4—91海洋調查規(guī)范海洋化學要素觀測GB12763.5—91海洋調查規(guī)范海洋聲、光要素調查GB12763.2—91海洋調查規(guī)范海洋水文觀測GB12763.6—91海洋調查規(guī)范海洋生物調查GB3100~3102-82量和單位GB/T17839-1999警戒潮位核定方法GB/T1.1—1993標準化工作導則GB12327—1998海道測量規(guī)范GB17501-1998海洋工程地形測量規(guī)范GB/T14158-93區(qū)域水文地質工程、地質環(huán)境、地質綜合勘察規(guī)范（比例尺1：50000）GB/T17798—1999地球空間數據交換格式GB12409—90地理格網GB/TGB2808-81全數字式日期表示法GB/T12763.1-2007海洋調查規(guī)范第1部分：總則GB/T12763.2-2007海洋調查規(guī)范第2部分:海洋水文觀測GB/T12763.3-2007海洋調查規(guī)范第3部分:海洋氣象觀測GB/T12763.4-2007海洋調查規(guī)范第4部分:海水化學要素調查GB/T12763.5-2007海洋調查規(guī)范第5部分:海洋聲、光要素調查GB/T12763.6-2007海洋調查規(guī)范第6部分:海洋生物調查GB/T12763.7-2007海洋調查規(guī)范第7部分:海洋調查資料交換GB/T12763.8-2007海洋調查規(guī)范第8部分:海洋地質地球物理調查GB/T12763.9-2007海洋調查規(guī)范第9部分：海洋生態(tài)調查指南GB/T12763.10-2007海洋調查規(guī)范第10部分：海底地形地貌調查GB/T12763.11-2007海洋調查規(guī)范第11部分：海洋工程地質調查2．3技術術語定義/解釋2.3.1主子表結構和數據分組主子表結構：通過關聯(lián)字段使主、子表對應，以解決數據記錄表頭和觀測層數據存、取的速度問題；主子表結構是數據記錄“一對多”關系的具體體現。數據分組：根據數據的某些特征將數據存儲在不同的數據庫對象中；檢索時，只需要根據數據特征來定位數據，并快速得到查詢結果。2.3.2數據查詢網格數據查詢：在顯示網格數據信息時，直接讀取和調用數據統(tǒng)計信息的過程。數據統(tǒng)計信息是在進行數據維護時生成的，并存儲到單獨的數據庫對象中。鼠標點擊查詢：鼠標點擊事件發(fā)生時，系統(tǒng)先通過中間數據定位查找結果，然后再將查詢結果反饋給應用程序的全過程。中間數據是在數據維護過程中生成的，將基本數據中的某些信息進行提煉，并存儲到單獨的數據庫對象中。2.3.3數據定位確定數據所在位置（測站）的技術和過程，包括：“極值”定位：依照網格數據的統(tǒng)計結果、根據統(tǒng)計網格編號和經、緯度值，查詢檢索到該網格中的極值存在于特定測站的技術和過程?！罢敬蜪D”定位：通過給定的經、緯度和站次ID，檢索和查閱該測站全部信息的過程?！昂桔E圖”定位：使用航次信息繪制的航跡或斷面圖去診斷和定位“有疑問”資料的技術和過程。模糊定位：由于鼠標點擊定位時，“點擊點”與“真實數據點”之間存在位置上的差異，“模糊定位”是幫助用戶查找到距“點擊點”處最近的數據點的技術。2.3.4數據格式參數化把數據格式以“自定義參數的形式”設計在程序中，統(tǒng)計調用時，通過函數名稱進行調度的技術。2.3.5相關參數“函數化”將數據類型、觀測參數、航次信息等先以函數的形式存放在數據表中，然后在程序運行中通過函數進行轉換以便達到只改變列表，不改動程序，就能容易達到預期的變更目的之技術。2.3.6數據庫對象命名將參數直接寫在數據表中，通過數據表的名稱來判斷和定位數據，并縮小檢索范圍，以解決參數快速準確存取的技術。2.3.7元數據（metadata）描述某類數據的屬性、特征、時、空變化范圍及其質量、精度等相關信息的集合。2.3.8編碼將信息分類的結果用一種易于被計算機和人識別的符號體系表示出來的過程，是人們統(tǒng)一認識、統(tǒng)一觀點、相互交換信息的一種技術手段。編碼的直接產物是代碼。2.3.9空間數據結構指空間數據在計算機內的組織和編碼形式；它是一種適合于計算機存儲、管理和處理空間數據的邏輯結構，是實體的空間排列和相互關系的抽象描述。2.3.10圖文資料掃描數字化通過掃描把以紙介質為載體的圖文資料由模擬信息轉變?yōu)閿底中畔ⅲ匆欢ǖ馁|量要求對電子文件進行加工和制作，然后存儲在磁帶、磁盤或光盤等介質上的過程。2.3.11源數據集本系統(tǒng)所使用的數據來源之集合。2.3.12基礎（存檔）數據集指來自于源數據集的數據，經過格式轉換、代碼統(tǒng)一、重復排除和質量控制后形成的實測層數據集合（相對“標準數據集”而言）。值得一提的是：對于在標準層上發(fā)現的資料質量問題，必須到實測層存檔數據集中尋找出錯原因，再加以改正，然后重新計算標準層后入庫。2.3.13標準數據集根據實測層數據計算出的準備入庫之標準層數據集合。標準層定義見下表 序號 系統(tǒng)名稱 標準層的層次 2.3.1營養(yǎng)鹽數據子系統(tǒng)4排重0，5，10，15，20，25，30，50，75，100，125，深層流數據子系統(tǒng) 排除150，200，250，300，400，500，600，700，海峽通道數據子系統(tǒng)800，900，1000，1100，1200，1300，1400，數據集中1500，1750，2000，2500，3000，3500，4000，重復數據溫鹽密聲數據子系統(tǒng)4500，5000，5500，6000，6500，7000，7500，的過程和8000，8500，9000ARGO數據子系統(tǒng) 技術。統(tǒng)計產品信息子系統(tǒng) 2.3.15質量控制剔除數據集或數據庫中隨機錯誤和“人為虛構”測站資料與數據的過程及技術之總稱。2．4編碼、屬性表命名規(guī)則2.4.1編碼規(guī)則本數據庫中使用了包括網格編號、國家編碼、資料源代碼、資料類型、參數編碼等在內的諸多編碼，其編碼規(guī)則均采用由美國國家海洋數據中心編制的世界海洋數據庫（WOD）編碼規(guī)則。為了方便數據循環(huán)調用和統(tǒng)計，字段編碼采用代碼制，即根據數據參數的特點，事先制訂字段參數-代碼表，然后依據參數-代碼表進行數據庫設計2.4.2數據庫命名規(guī)則數據庫名稱為9位編：如ODMS_4002XXXX____XXXXXX____XXXX子系統(tǒng)編碼子系統(tǒng)版本系統(tǒng)名稱2.4.3數據表命名規(guī)則XX_XXXXXXXXXX數據表參數2數據表參數1數據表類型數據表名稱為12位編：如T4.4字段命名規(guī)則為了方便數據循環(huán)調用和統(tǒng)計，字段編碼采用代碼制，即根據數據參數的特點，事先制訂字段參數-代碼表，然后依據參數-代碼表進行數據庫設計2．5元數據標準采用的元數據標準為《WDCD海洋學資料元數據標準》（見附件1）。2．6文檔格式本系統(tǒng)吸收國際各種數據格式的優(yōu)點，自行研發(fā)和采用了“海洋資料共享格式（ODSF）”，并改進為ODSF1，作為輸入、輸出格式（見附錄2）。2．7數據庫建設流程溫-鹽-密-聲庫的建設流程如下圖所示。在做好數據收集提取、格式轉換、編碼統(tǒng)一、質量控制和排重工作的基礎上，根據需求分析的結果，并靈活運用建庫理論，通過數據管理子系統(tǒng)，將經過校驗的數據導入庫內，建成數據庫實體。擇優(yōu)擇優(yōu)庫內分析診斷模塊可人工糾錯資料不可糾錯的測站資料理庫后內合并—排重—排序首次排重后的實測層數據文件生成重復文件1生成實測層數據存檔文件計算標準層數據校驗生成重復數據文件2同步類比剖面分析航跡圖診斷鹽密模檢驗極值定位糾錯處理實體庫ODVV5.8口模塊提取元數據生成元數據庫溫鹽密聲數據庫解壓/可視化代碼統(tǒng)一格式轉換質控模塊一質控模塊二質控模塊三質控模塊四溫、鹽超異常信息庫資料收集/預處理程糾錯后重新計算標準層序糾錯入庫—統(tǒng)計—排重可使用程序糾錯經重二新次導診入數據庫系列產品 繪圖軟件之接斷數處據2．8數據質量控制2．8．1質量監(jiān)控體系質量監(jiān)控體系包括數據入庫前的質量控制流程和排重流程，以及數據入庫后的庫內分析診斷模塊。2．8．2數據質量監(jiān)控1、數據質量控制流程圖

合并 對不同源南森站實測資料經格式轉換、排重、統(tǒng)一代碼及標準后進行合并分區(qū)根據本海區(qū)特點，將全區(qū)分成35個獨立的質控分區(qū) 內插標準層 用內插方法分別計算出各分區(qū)數據文件不同季度、不同層次上溫、鹽和溶解氧參數的標準層值 取得第一代質控參數 對內插的標準層資料進行人/機結合的審核、質控、統(tǒng)計出各分區(qū)、各層、各季的均值/頻數和極大/極小值（質控參數） 第一次質控 用新產生的質控參數對分區(qū)內WOD98 等六類資料（CTD/STD/SD2/XBT/MBT/SBT/IBT）進行首次質控和梯度檢驗。 人/機結合糾錯 對質控出的問題，進行人/機結合審核，找出引起標準層上的資料有誤的實測層資料的原因，并加以改正 第二次內插 用各分區(qū)已改正的實測層資料重新計算標準層，產生第二代質控參數 第二次質控用第二代質控參數對JMA資料進行質控，并配合梯度檢驗 第二次糾錯 對二次質控出的問題進行人/機結合審核、篩選把關，再次判斷引起實測層資料 出錯的原因，并改正之 第三次內插 對修改后的實測層數據文件重新計算標準層，得到各分區(qū)不同季節(jié)、不同層 次的第三代溫、鹽和溶解氧質控參數 注:WOD01資料由此開始質控!第三次質控用第三代質控參數對WOD01等來源的十類資料（OSD/CTD/MBT/XBT/MRB/DRB/PFL/UOR/APB/SURF）進行質控,并結合梯度檢驗 第三次糾錯在各分區(qū)實測層數據文件中，人/機結合，改正質控出的實測層上的質量問題第四次插值 使用改正后的實測層數據文件，重新計算標準層，獲得下一代質控參數開始新一輪質控過程 利用上一輪質控參數，對新收集到Argo等其它來源的資料進行下一輪質控;不斷 循環(huán)往復，逐步改進完善各分區(qū)不同季節(jié)/月份，不同層次上的質控參數

2、排重工作流程圖（以OSD類型資料為例）拷 解壓、合并后的OSD資料總文件年 Y 貝度 程 對第一次排重用經緯度和時間的第一組參數分離出完全重復的資料造 確序 應假認塊 的重復重可能完全重復數據文件 不重復復月 M 站 份 確程 至人工審核 可能不重復數據文件 造 認序 REP否 假 塊調 重復用日 D 左是子 程邊 從兩個或多個站中優(yōu)選出一個站造 確序各假認塊程序擇劣合并小 H 模 生成*.comb1文件 時 確程塊選優(yōu) 造 認序 第二次排重使用經、緯度和時間組合的第二組參數 假 塊排除部經 L 分 可能重復數據文件度 O 造人工審核 可能不重復數據文件造 確程假否假認序資重復塊料重 是 從兩個或多個站中優(yōu)選出一個站 緯 L 度 A 合并 造 確程 生成*.comb2文件假認序 塊 第三次排重使用經、緯度和時間組合的第三組參數 可能重復文件 并 肯定不重復文件入拷貝對應重復站人工審核重至REP否重復復數是據拷貝至重復站REP 集 從兩個或多個站中優(yōu)選出一個站合并生成統(tǒng)一的重復數據文件REP， 生成*.comb3最終文件，供質控使用供IOCAS和OCL檢驗時使用3、庫內分析診斷模塊極值定位利用本系統(tǒng)“通過給定站位和站次ID，可以查閱、檢索，并顯示該站完整信息”的功能，并“根據網格數據的統(tǒng)計結果，可進行極值（極大或極小值）定位”的功能模塊，能夠確認從0.1o*0.1o到10o*10o任意方區(qū)內的極值是否合理，從而達到診斷資料真實性的的目的；因為“錯情”通常是與觀測參數特定空間范圍和特殊時段的“極值”（極大/小值）緊密相關。同步觀測資料類比將數據類型、觀測參數、航次/斷面信息先以函數的形式存放在數據表中，然后在程序中通過函數進行轉換，使相關參數“函數化”；這樣只改列表，而不動程序，就可容易地達到預想的變更目的。有質量問題的資料（造假）入庫后，通過相關參數“函數化”處理和系統(tǒng)強大的統(tǒng)計檢索功能，可以把與該資料（造假）同屬一個航次/斷面的有關資料和其它航次/斷面的同步或準同步測量資料調度到同一平面上類比，從而確認該（造假）資料的真實性。實踐證明，相當數量人為制造的資料與真實資料在同一時空環(huán)境下類比就會暴露“偽”的原形。鹽-密模定量分析表征水團特性的溫—鹽曲線在特定海區(qū)具有定常的形態(tài)（Svordrup等1942）,因此使用溫-鹽或鹽-密雙變量頻率分布所形成的模式，可以檢驗現有觀測資料的質量。美國國家海洋資料中心DouglasHamilton博士于1976年率先研制了5×5網格的鹽-密模，并用于定性質控（EnvironmentalModelsforQualityControl,1976,DouglasHamilton）。借鑒美國的經驗，使用了數據子系統(tǒng)的溫、鹽資料計算出條件密度，再用鹽度和密度值及其它相關參數制成不同海區(qū)、季節(jié)/月份、以及不同層次上的鹽-密模型；之后再用鹽-密模型檢驗入庫資料的質量，剔除可能會嚴重影響統(tǒng)計結果的非真實資料。航次/斷面分析診斷如果某一航次/斷面中的“一個或多個”測站出現“有疑問”的資料，系統(tǒng)會根據具體需要和該航次綜合信息繪制出航次/斷面圖，以確診“疑問”之所在，并幫助糾正元數據，同時提供糾錯辦法與可能的“訂正量”，即訂正值的大小。2．9數據庫匯交（集成）（匯交至的方法和途徑等）由研發(fā)單位向中科院科學數據庫中心匯交本數據管理系統(tǒng)；所有的數據庫建設成果及相關文檔（項目設計書、總體方案、建庫合同、協(xié)議等）均按科學數據庫有關要求存檔保管；匯交數據文件的存儲介質為光盤；提交成果之前，應進行全面查、殺毒，以確保數據的安全。附錄1WDCD海洋學資料元數據標準數據集名稱：中國近海和西北太平洋溫鹽聲密數據庫數據集編碼：待定數據集內容關鍵詞：海洋信息、格式、質控、排重、管理系統(tǒng)、標準數據集內容：海洋學各分支學科的現場觀測資料數據集開始時間：1876年6月數據集結束時間：2004年4月數據空間范圍（最低經度，最高經度）：100oE~140oE數據空間范圍（最低緯度，最高緯度）：10oS~50oN數據空間范圍（最低高度，最高高度）：海面~海底數據質量說明：數據質量可靠，誤碼率小于萬分之六數據存儲介質：CD-ROM、DVD、活動硬盤數據存儲格式：入庫數據均以數據表的形式存儲數據量：12.6GB數據來源：全球海洋科學團體數據集使用的語種：中文、英文系統(tǒng)、數據集、數據庫等作者信息：科學顧問：胡敦欣系統(tǒng)總設計：許崇金、王凡、代亮、孫豐山、陳獻輝、孫東麗、陳永利等管理子系統(tǒng)設計：代亮、許崇金、王凡、孫豐山、孫東麗、陳永利、陳獻輝溫-鹽數據庫設計：王凡、許崇金、代亮、孫豐山、孫東麗、陳永利、陳獻輝數據集存放地點：中國科學院海洋研究所數據集索取方式：函索/面商皆可。數據更新周期：每半年至一年更新一次附錄2“海洋資料共享格式（ODSF）”本數據庫吸收國際各種數據格式的優(yōu)點，自行研發(fā)和采用了“海洋資料共享格式（ODSF）”，并改進為ODSF1，作為輸入、輸出格式。格式例樣1：123456123456789012345678901234567890123456789012345678901234567890CCcruiseLatitdeLongitdeYYYYMMDDTimeStation#第一個記錄：英文表頭說明49PR1926.83012