污染場(chǎng)地土壤環(huán)境多源數(shù)據(jù)集成整合指南編制說明

《污染場(chǎng)地土壤環(huán)境多源數(shù)據(jù)集成整合方法指南》團(tuán)體標(biāo)準(zhǔn)（征求意見稿）編制說明2023年10月28日

一、工作情況1、任務(wù)來源過去幾十年以來，我國(guó)形成了數(shù)量龐大的（潛在）污染場(chǎng)地，在生產(chǎn)經(jīng)營(yíng)、場(chǎng)地土壤環(huán)境調(diào)查、風(fēng)險(xiǎn)評(píng)估和修復(fù)等一系列活動(dòng)中，產(chǎn)生了豐富的管理數(shù)據(jù)、調(diào)查數(shù)據(jù)、評(píng)估數(shù)據(jù)、修復(fù)數(shù)據(jù)，這些土壤環(huán)境相關(guān)數(shù)據(jù)數(shù)量大、類型多樣、非結(jié)構(gòu)化比例高，呈現(xiàn)大數(shù)據(jù)特征。但它們來源多樣、結(jié)構(gòu)各異、組織無序且存儲(chǔ)分散，亟待進(jìn)行標(biāo)準(zhǔn)化集成整合。因此，建立場(chǎng)地土壤環(huán)境數(shù)據(jù)集成整合方法體系具有必要性。在國(guó)家重點(diǎn)研發(fā)“污染場(chǎng)地公共源數(shù)據(jù)結(jié)構(gòu)識(shí)別及大數(shù)據(jù)構(gòu)建”課題的支持下，起草單位相關(guān)人員進(jìn)行了污染場(chǎng)地土壤環(huán)境數(shù)據(jù)集成建庫工作，積累了豐富的實(shí)踐經(jīng)驗(yàn)，在屬性數(shù)據(jù)和空間數(shù)據(jù)建庫整合，集成中間件開發(fā)，相關(guān)結(jié)構(gòu)化數(shù)據(jù)（包括屬性數(shù)據(jù)和空間數(shù)據(jù)）集成、非結(jié)構(gòu)化抽取數(shù)據(jù)（包括抽取表格、文本要素?cái)?shù)據(jù)、圖文識(shí)別數(shù)據(jù)）方面，開展了系統(tǒng)性工作。基于以上背景，根據(jù)《中國(guó)土壤學(xué)會(huì)團(tuán)體標(biāo)準(zhǔn)管理辦法（試行）》，由中國(guó)科學(xué)院南京土壤研究所牽頭組織編制《污染場(chǎng)地土壤環(huán)境數(shù)據(jù)集成整合方法指南》，涉及數(shù)據(jù)預(yù)處理、轉(zhuǎn)換、變換、建庫以及非結(jié)構(gòu)化數(shù)據(jù)處理等涉及到的一系列技術(shù)及流程，用于指導(dǎo)場(chǎng)地污染土壤環(huán)境大數(shù)據(jù)的集成整合。經(jīng)過專家評(píng)審，批準(zhǔn)本標(biāo)準(zhǔn)立項(xiàng)，根據(jù)計(jì)劃要求，本標(biāo)準(zhǔn)完成時(shí)限為6個(gè)月。2、協(xié)作單位本標(biāo)準(zhǔn)負(fù)責(zé)起草單位：中國(guó)科學(xué)院南京土壤研究所本標(biāo)準(zhǔn)參加起草單位：生態(tài)環(huán)境部土壤與農(nóng)業(yè)農(nóng)村生態(tài)環(huán)境監(jiān)管技術(shù)中心、訊飛智元信息科技有限公司、中國(guó)科學(xué)院地理科學(xué)與資源研究所3、主要工作過程2020年12月-2022年12月，結(jié)合國(guó)家重點(diǎn)研發(fā)計(jì)劃“污染場(chǎng)地公共源數(shù)據(jù)結(jié)構(gòu)識(shí)別及大數(shù)據(jù)構(gòu)建”課題，開展了污染場(chǎng)地相關(guān)土壤環(huán)境數(shù)據(jù)的采集、預(yù)處理、整理等工作；同時(shí)，結(jié)合項(xiàng)目?jī)?nèi)部和示范區(qū)的數(shù)據(jù)需求，綜合運(yùn)用數(shù)據(jù)預(yù)處理、數(shù)據(jù)變換和轉(zhuǎn)換、匹配映射、存儲(chǔ)和管理以及中間件等一系列技術(shù)，進(jìn)行多源、異構(gòu)、復(fù)雜的結(jié)構(gòu)化與非結(jié)構(gòu)化識(shí)別數(shù)據(jù)集成整合，以建立標(biāo)準(zhǔn)統(tǒng)一、質(zhì)量可靠、便于共享的污染場(chǎng)地?cái)?shù)據(jù)資源庫。2023年1月-2023年5月，成立標(biāo)準(zhǔn)立項(xiàng)工作組，查閱了國(guó)家、地方、行業(yè)等相關(guān)標(biāo)準(zhǔn)材料，依據(jù)《中華人民共和國(guó)標(biāo)準(zhǔn)化法》、《中華人民共和國(guó)標(biāo)準(zhǔn)化法實(shí)施條例》、《標(biāo)準(zhǔn)化工作指導(dǎo)》、《標(biāo)準(zhǔn)化工作指南》等，對(duì)污染場(chǎng)地土壤環(huán)境多源數(shù)據(jù)資源進(jìn)行梳理，總結(jié)了場(chǎng)地土壤環(huán)境數(shù)據(jù)集成整合中用到的技術(shù)方法。2023年6月-2023年8月，成立標(biāo)準(zhǔn)起草組，進(jìn)一步對(duì)相關(guān)技術(shù)進(jìn)行改進(jìn)、對(duì)相關(guān)材料進(jìn)行總結(jié)凝練。經(jīng)過起草小組內(nèi)部討論，并通過函評(píng)形式征求相關(guān)專家意見，確定了本標(biāo)準(zhǔn)的框架及主要內(nèi)容。2023年9月-2023年10月，根據(jù)《中國(guó)土壤學(xué)會(huì)團(tuán)體標(biāo)準(zhǔn)管理辦法（試行）》，經(jīng)過專家評(píng)審，本標(biāo)準(zhǔn)成功立項(xiàng)。標(biāo)準(zhǔn)起草組于2023年9月底完成了標(biāo)準(zhǔn)草稿，通過函評(píng)形式征求了相關(guān)專家建議，并進(jìn)行了針對(duì)性修改；10月中旬，組織了視頻會(huì)議對(duì)標(biāo)準(zhǔn)稿件中的文字表述、技術(shù)等進(jìn)行詳細(xì)討論，并與2023年10月28日形成了統(tǒng)一意見的征求意見稿。4、起草組成員及其所做的主要工作中國(guó)科學(xué)院南京土壤研究所負(fù)責(zé)全面工作，收集、整理國(guó)內(nèi)外相關(guān)材料，組織開展標(biāo)準(zhǔn)及編制說明的起草、討論、審核等工作，其他起草單位協(xié)助進(jìn)行；其中，訊飛智元信息科技有限公司主要負(fù)責(zé)技術(shù)方案及其落地工作，生態(tài)環(huán)境部土壤與農(nóng)業(yè)農(nóng)村生態(tài)環(huán)境監(jiān)管技術(shù)中心和中國(guó)科學(xué)院地理科學(xué)與資源研究所負(fù)責(zé)污染場(chǎng)地多源數(shù)據(jù)梳理及數(shù)據(jù)需求和應(yīng)用，以及相關(guān)材料收集、撰寫等工作。起草組成員名單及詳細(xì)分工如下表所示。序號(hào)姓名單位主要工作1劉杰中國(guó)科學(xué)院南京土壤研究所材料撰寫、技術(shù)和應(yīng)用協(xié)調(diào)2潘賢章中國(guó)科學(xué)院南京土壤研究所負(fù)責(zé)全面工作3郭觀林生態(tài)環(huán)境部土壤與農(nóng)業(yè)農(nóng)村生態(tài)環(huán)境監(jiān)管技術(shù)中心內(nèi)容和質(zhì)量把控4許大偉訊飛智元信息科技有限公司技術(shù)負(fù)責(zé)及材料撰寫5曹紅英中國(guó)科學(xué)院地理科學(xué)與資源研究所數(shù)據(jù)梳理及應(yīng)用，材料撰寫等6郟夢(mèng)思中國(guó)科學(xué)院南京土壤研究所資料收集分析、材料撰寫7方婷婷生態(tài)環(huán)境部土壤與農(nóng)業(yè)農(nóng)村生態(tài)環(huán)境監(jiān)管技術(shù)中心數(shù)據(jù)梳理及應(yīng)用8湯馳訊飛智元信息科技有限公司技術(shù)負(fù)責(zé)及材料撰寫9李家年訊飛智元信息科技有限公司資料收集分析10郭志英中國(guó)科學(xué)院南京土壤研究所數(shù)據(jù)采集及材料撰寫11王昌昆中國(guó)科學(xué)院南京土壤研究所數(shù)據(jù)采集及材料撰寫二、標(biāo)準(zhǔn)編制原則和主要內(nèi)容1、編制原則遵循開放原則、協(xié)商一致原則、透明原則、可追溯原則等，本著科學(xué)性、先進(jìn)性、適用性、可操作等原則，并按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。在本標(biāo)準(zhǔn)制定過程中，主要參考GB/T41224-2021/ISO28256:2013、GB/T18391.1-2002、GB/T35295-2017、GB/T16820-2009、GB/T30883-2014、GB/T19710-2005、HJ682—2014、HJ/T166-2004、DB52/T1540.3-2020等標(biāo)準(zhǔn)文件，同時(shí)將“污染場(chǎng)地公共源數(shù)據(jù)結(jié)構(gòu)識(shí)別及大數(shù)據(jù)構(gòu)建”課題執(zhí)行過程中的相關(guān)技術(shù)方法納入本標(biāo)準(zhǔn)，使標(biāo)準(zhǔn)的內(nèi)容、技術(shù)和應(yīng)用場(chǎng)景更貼合實(shí)際工作需求。2、主要內(nèi)容本標(biāo)準(zhǔn)提出了污染場(chǎng)地土壤環(huán)境多源異構(gòu)數(shù)據(jù)預(yù)處理、轉(zhuǎn)換、變換等規(guī)范化方法，提出數(shù)據(jù)庫、表結(jié)構(gòu)、元數(shù)據(jù)等構(gòu)建方法和技術(shù)，并囊括了相關(guān)數(shù)據(jù)集成中間件技術(shù)。提出了污染場(chǎng)地土壤環(huán)境集成整合建庫的方案及技術(shù)方法，包括數(shù)據(jù)預(yù)處理、轉(zhuǎn)換/變換、建庫、映射、入庫等。三、主要試驗(yàn)（或驗(yàn)證）的分析、綜述報(bào)告，技術(shù)經(jīng)濟(jì)論證，預(yù)期的經(jīng)濟(jì)效果污染場(chǎng)地相關(guān)數(shù)據(jù)資源來源廣泛，類型多樣，覆蓋了結(jié)構(gòu)化的業(yè)務(wù)及管理類數(shù)據(jù)、非結(jié)構(gòu)化/半結(jié)構(gòu)化的調(diào)查數(shù)據(jù)，以及大量遙感及專題圖等多維時(shí)空數(shù)據(jù)。然而，目前這些場(chǎng)地相關(guān)數(shù)據(jù)組織無序，存儲(chǔ)分散，數(shù)據(jù)碎片化、孤島現(xiàn)象嚴(yán)重，最主要原因是缺乏系統(tǒng)集成整合，以及統(tǒng)一的存儲(chǔ)管理，從而造成數(shù)據(jù)檢索不便、共享受阻、應(yīng)用效率低下等問題。因此，本標(biāo)準(zhǔn)的提出，對(duì)于指導(dǎo)場(chǎng)地土壤環(huán)境類多源異構(gòu)數(shù)據(jù)的標(biāo)準(zhǔn)化集成整合，以及土壤環(huán)境大數(shù)據(jù)資源庫建設(shè)具有重要意義。本標(biāo)準(zhǔn)的提出主要依據(jù)國(guó)家重點(diǎn)研發(fā)計(jì)劃課題“污染場(chǎng)地公共源數(shù)據(jù)結(jié)構(gòu)識(shí)別及大數(shù)據(jù)構(gòu)建”執(zhí)行過程積累的成果和經(jīng)驗(yàn)，通過研發(fā)數(shù)據(jù)預(yù)處理、非結(jié)構(gòu)化數(shù)據(jù)處理、中間件等技術(shù)，完成了大量污染場(chǎng)地相關(guān)數(shù)據(jù)資源的整合，形成了污染場(chǎng)地源數(shù)據(jù)資源庫，為項(xiàng)目參與單位提供數(shù)據(jù)服務(wù)，滿足了項(xiàng)目研發(fā)需求。本標(biāo)準(zhǔn)的總體方案和方法流程如下。1、數(shù)據(jù)集成整合技術(shù)框架在考慮多類型數(shù)據(jù)及其自身特點(diǎn)基礎(chǔ)上，基于土壤、環(huán)境、地理信息、遙感等相關(guān)理論，采用PostgreSQL、PostGIS等工具，綜合運(yùn)用數(shù)據(jù)預(yù)處理、數(shù)據(jù)變換和轉(zhuǎn)換、匹配映射、存儲(chǔ)和管理以及中間件等一系列技術(shù)方法，進(jìn)行多源、異構(gòu)、復(fù)雜的結(jié)構(gòu)化與非結(jié)構(gòu)化識(shí)別數(shù)據(jù)集成整合，以建立污染場(chǎng)地土壤環(huán)境數(shù)據(jù)資源庫。2、數(shù)據(jù)庫構(gòu)建為完成集成整合后土壤環(huán)境數(shù)據(jù)的統(tǒng)一規(guī)范存儲(chǔ)，首先梳理數(shù)據(jù)庫中主要的數(shù)據(jù)資源，并建立相關(guān)數(shù)據(jù)庫表的關(guān)聯(lián)關(guān)系；其次針對(duì)不同的數(shù)據(jù)內(nèi)容，設(shè)計(jì)建立數(shù)據(jù)庫表，建立相應(yīng)的數(shù)據(jù)索引及元數(shù)據(jù)；進(jìn)行屬性和空間數(shù)據(jù)關(guān)聯(lián)，構(gòu)建屬性空間一體化的數(shù)據(jù)資源庫。3、數(shù)據(jù)集成整合（1）結(jié)構(gòu)化屬性數(shù)據(jù)集成整合對(duì)于結(jié)構(gòu)化屬性數(shù)據(jù)，首先確定不同來源的原始數(shù)據(jù)的格式、字段名稱與含義等，確定數(shù)據(jù)庫表的字段名稱、類型、長(zhǎng)度、主鍵等，完成數(shù)據(jù)庫表設(shè)計(jì)；其次，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，去除重復(fù)數(shù)據(jù)、處理缺失數(shù)據(jù)、修正異常數(shù)據(jù)等；再次，構(gòu)建源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的映射規(guī)則，將相關(guān)數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫。（2）空間數(shù)據(jù)集成整合對(duì)于空間數(shù)據(jù)，首先確定空間參考系統(tǒng)，利用相關(guān)軟件建立空間數(shù)據(jù)庫，并定義空間參考系統(tǒng)等相關(guān)參數(shù)；其次，利用QGIS等工具，將原始矢量或柵格數(shù)據(jù)轉(zhuǎn)換為目標(biāo)格式（如shapefile格式的矢量數(shù)據(jù)、geotiff格式的柵格數(shù)據(jù)）；利用QGIS等空間數(shù)據(jù)管理軟件，對(duì)土壤相關(guān)空間數(shù)據(jù)進(jìn)行入庫。（3）非結(jié)構(gòu)化識(shí)別數(shù)據(jù)集成整合污染場(chǎng)地土壤環(huán)境相關(guān)非結(jié)構(gòu)化數(shù)據(jù)經(jīng)識(shí)別處理后，獲取到的抽取表格、文本要素、圖文識(shí)別等（半）結(jié)構(gòu)化識(shí)別數(shù)據(jù)，這些數(shù)據(jù)集成整合的主要步驟為：首先，根據(jù)已掌握數(shù)據(jù)的情況與專家經(jīng)驗(yàn)，設(shè)計(jì)構(gòu)建相關(guān)數(shù)據(jù)庫表；其次，將結(jié)構(gòu)化識(shí)別的數(shù)據(jù)與數(shù)據(jù)庫表建立映射關(guān)系；最后，利用中間件、ETL工具等方法，對(duì)相關(guān)數(shù)據(jù)結(jié)果進(jìn)行入庫。四、標(biāo)準(zhǔn)涉及的相關(guān)知識(shí)產(chǎn)權(quán)說明在本標(biāo)準(zhǔn)制定過程中，利用了起草單位編制的《GB/T32739-2016土壤科學(xué)數(shù)據(jù)元數(shù)據(jù)》