江西省醫(yī)療大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范 第三部分?jǐn)?shù)據(jù)采集規(guī)范

DBXX/TXXX—XXXX

江西省醫(yī)療大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范第三部分：數(shù)據(jù)采集規(guī)范

1范圍

本規(guī)范規(guī)定了醫(yī)療大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集接入的術(shù)語(yǔ)和定義以及相關(guān)技術(shù)要求，包含數(shù)據(jù)采集過(guò)程、

歷史數(shù)據(jù)采集規(guī)范、增量數(shù)據(jù)采集規(guī)范、數(shù)據(jù)采集質(zhì)控要求等內(nèi)容。

本規(guī)范適用于醫(yī)療大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集過(guò)程的設(shè)計(jì)、開發(fā)、選型和實(shí)施，可作為醫(yī)療大數(shù)據(jù)平臺(tái)數(shù)

據(jù)采集接入時(shí)的評(píng)測(cè)依據(jù)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T18391.1—2009信息技術(shù)元數(shù)據(jù)注冊(cè)系統(tǒng)(MDR)第1部分：框架

GB/T34960.5—2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范

GB/T36345信息技術(shù)通用數(shù)據(jù)導(dǎo)入接口

3術(shù)語(yǔ)和定義

GB/T18391.1—2009、GB/T34960.5—2018、GB/T36345界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

3.1

數(shù)據(jù)模型

數(shù)據(jù)模型為數(shù)據(jù)采集提供參考依據(jù)，由于不同醫(yī)院的廠商、系統(tǒng)都可能不一致，而且醫(yī)院也存在更

換系統(tǒng)的情況，統(tǒng)一的數(shù)據(jù)模型可以兼容醫(yī)院不同廠商的系統(tǒng)，對(duì)外統(tǒng)一標(biāo)準(zhǔn)輸出。

3.2

源系統(tǒng)數(shù)據(jù)

源系統(tǒng)數(shù)據(jù)是指醫(yī)院臨床業(yè)務(wù)系統(tǒng)數(shù)據(jù)，包括HIS業(yè)務(wù)、LIS業(yè)務(wù)、RIS業(yè)務(wù)、EMR業(yè)務(wù)、手麻、

病案等產(chǎn)生的數(shù)據(jù)，可能存儲(chǔ)在不同類型的數(shù)據(jù)庫(kù)匯總。

3.3

歷史數(shù)據(jù)采集

歷史數(shù)據(jù)采集是指采集醫(yī)院過(guò)往的醫(yī)療數(shù)據(jù)，一家醫(yī)院在源系統(tǒng)數(shù)據(jù)庫(kù)中基本上有近十年數(shù)據(jù)，這

些數(shù)據(jù)量比較龐大，需要采取不一樣的方式一次性采集，和增量數(shù)據(jù)同步方案存在一定的差異性。

3.4

1

DBXX/TXXX—XXXX

增量數(shù)據(jù)采集

增量數(shù)據(jù)采集是指采集醫(yī)院每天新增或者變更數(shù)據(jù)，由于醫(yī)院業(yè)務(wù)量比較大，住院患者數(shù)據(jù)變更比

較頻繁，根據(jù)醫(yī)院實(shí)際情況可以考慮T+1或者實(shí)時(shí)進(jìn)行增量數(shù)據(jù)采集，不同數(shù)據(jù)采集模式采用的數(shù)據(jù)采

集方案存在一定差異性。

3.5

數(shù)據(jù)映射

數(shù)據(jù)映射是指將醫(yī)院不同廠商的不同系統(tǒng)的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)的字段與標(biāo)準(zhǔn)模型進(jìn)行對(duì)照，確保數(shù)據(jù)采

集到數(shù)據(jù)模型對(duì)應(yīng)的內(nèi)容是一致的，不存在數(shù)據(jù)與對(duì)應(yīng)字段不一致的情況。

3.6

數(shù)據(jù)標(biāo)準(zhǔn)化

數(shù)據(jù)標(biāo)準(zhǔn)化是指將不同醫(yī)院的數(shù)據(jù)形成統(tǒng)一的標(biāo)準(zhǔn)，方便后續(xù)使用，目前不同廠商對(duì)數(shù)據(jù)標(biāo)準(zhǔn)都存

在差異，需要將源數(shù)據(jù)按照標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行轉(zhuǎn)換，符合數(shù)據(jù)標(biāo)準(zhǔn)要求。

3.7

數(shù)據(jù)采集治理

數(shù)據(jù)治理是指將醫(yī)院臟、亂、差的數(shù)據(jù)按照標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行數(shù)據(jù)治理，將質(zhì)量比較差的數(shù)據(jù)通過(guò)

數(shù)據(jù)治理后提高數(shù)據(jù)質(zhì)量，以滿足后續(xù)的臨床數(shù)據(jù)應(yīng)用。

3.8

數(shù)據(jù)采集質(zhì)控

數(shù)據(jù)采集質(zhì)控是指醫(yī)院不同業(yè)務(wù)廠商的數(shù)據(jù)按照標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行采集后，對(duì)采集入庫(kù)的數(shù)據(jù)進(jìn)行

數(shù)據(jù)質(zhì)量核查，對(duì)數(shù)據(jù)質(zhì)量存在問(wèn)題的數(shù)據(jù)進(jìn)行預(yù)警和糾錯(cuò)，提高數(shù)據(jù)質(zhì)量。

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件:

——HIT衛(wèi)生信息技術(shù)HealthcareInformationTechnology；

——ESB企業(yè)服務(wù)總線EnterpriseServiceBus；

——ETL抽取-轉(zhuǎn)換-加載Extrat-Transform-Load；

——CDR臨床數(shù)據(jù)中心ClinicalDataRepository；

——ODR運(yùn)營(yíng)數(shù)據(jù)中心OperationDataRepository；

——RDR科研數(shù)據(jù)中心ResearchDataRepository；

——BI運(yùn)營(yíng)數(shù)據(jù)中心的可視化BusinessIntelligence；

——AI人工智能ArtificialIntelligence；

——NLP自然語(yǔ)言處理；

——NER命名實(shí)體識(shí)別NamedEntityRecognition）；

——SaaS軟件即服務(wù)Software-as-a-service；

——PaaS平臺(tái)即服務(wù)Platform-as-a-Service；

——IaaS基礎(chǔ)設(shè)施即服務(wù)Infrastructure-as-a-Service；

2

DBXX/TXXX—XXXX

——SOA面向服務(wù)的體系結(jié)構(gòu)Service-OrientedArchitecture。

——HL7衛(wèi)生信息交換標(biāo)準(zhǔn)HealthLevelSeven；

——DICOM醫(yī)學(xué)數(shù)字成像和通信DigitalImagingandCommunicationsinMedicine；

——LOINC觀測(cè)指標(biāo)標(biāo)識(shí)符邏輯命名與編碼系統(tǒng)；

——SNOMEDCT醫(yī)學(xué)系統(tǒng)命名法-臨床術(shù)語(yǔ)SystematizedNomenclatureofMedicine--Clinical

Terms）；

——ICD國(guó)際疾病分類InternationalClassificationofDisease）；

——EMR電子病歷ElectronicMedicalRecord；

——HIS醫(yī)院信息系統(tǒng)HospitalInformationSystem；

——CIS臨床信息系統(tǒng)ClinicalInformationSystem；

——LIS實(shí)驗(yàn)室信息系統(tǒng)LaboratoryInformationSystem；

——RIS放射學(xué)信息系統(tǒng)RadiologyInformationSystem；

——PACS影像歸檔和通信系統(tǒng)PictureArchivingandCommunicationSystem；

——CRF臨床研究表CaseReportForm；

——CDSS臨床決策支持系統(tǒng)ClinicalDecisionSupportSystem。

5數(shù)據(jù)接入要求

5.1數(shù)據(jù)采集范圍

醫(yī)療大數(shù)據(jù)平臺(tái)接入數(shù)據(jù)源應(yīng)包括但不限于：HIS、EMR、護(hù)理、手術(shù)麻醉、LIS、PACS、RIS、病理、

心電圖、超聲、體檢、隨訪EDC、生物樣本庫(kù)等院內(nèi)臨床業(yè)務(wù)系統(tǒng)，以及基因數(shù)據(jù)庫(kù)、物聯(lián)設(shè)備監(jiān)測(cè)數(shù)

據(jù)庫(kù)、公共衛(wèi)生數(shù)據(jù)庫(kù)等特殊衛(wèi)生健康數(shù)據(jù)。

數(shù)據(jù)采集范圍包含但不限于：

——HIS：患者基本信息（含門急診、住院）、就診記錄、診斷、醫(yī)囑、用藥、耗材、手術(shù)、輸血、

檢查、檢驗(yàn)等臨床信息，人員、醫(yī)療組、科室、診斷編碼、手術(shù)編碼、項(xiàng)目編碼等主數(shù)據(jù)信息；

——EMR：門診患者的門診病歷，住院患者的入院病歷、病程、術(shù)前討論、術(shù)后情況、出院小結(jié)、

會(huì)診記錄等全部文書；

——病案首頁(yè)：就診主索引、臨床首頁(yè)信息和編目首頁(yè)信息

——護(hù)理：就診主索引、護(hù)理首頁(yè)、護(hù)理評(píng)估、護(hù)理記錄、護(hù)理措施、危重記錄、體征、PICC、

置管等；

——手術(shù)麻醉：就診主索引、麻醉記錄單、手術(shù)記錄單、監(jiān)控儀器數(shù)據(jù)；

——LIS：就診主索引、檢查項(xiàng)目、檢查細(xì)項(xiàng)、細(xì)項(xiàng)結(jié)果及正常值范圍；

——RIS：就診主索引、檢查報(bào)告、CT/MRI/PET等各類文字報(bào)告原始文件；

——病理：就診主索引、檢查報(bào)告、涂片圖像原始文件；

——心電圖：就診主索引、檢查報(bào)告、心電圖原始文件或pdf文件；

——超聲：就診主索引、檢查報(bào)告、超聲圖像原始文件；

——體檢：患者基本信息（體檢）、體檢項(xiàng)目清單、各項(xiàng)檢查結(jié)果及正常值范圍、各科室檢查結(jié)

論、終檢結(jié)論、相關(guān)影像原始文件等；

——隨訪：患者基本信息（隨訪）、臨床隨訪和病案隨訪數(shù)據(jù)及院外隨訪數(shù)據(jù)；

——生物樣本：醫(yī)療機(jī)構(gòu)生物樣本中心采集并留存的生物信息、存儲(chǔ)信息；

——基因：患者基本信息、患者基因檢查結(jié)果記錄、基因原始數(shù)據(jù)；

——物聯(lián)網(wǎng)設(shè)備健康監(jiān)測(cè)數(shù)據(jù)：患者基本信息，通過(guò)物聯(lián)網(wǎng)可穿戴健康監(jiān)測(cè)設(shè)備采集的實(shí)時(shí)監(jiān)測(cè)

數(shù)據(jù)、健康監(jiān)測(cè)報(bào)告數(shù)據(jù)；

3

DBXX/TXXX—XXXX

——公共衛(wèi)生數(shù)據(jù)：涉及公共衛(wèi)生應(yīng)急、疾病預(yù)防控制、婦幼保健、精神衛(wèi)生、衛(wèi)生監(jiān)督、健康

教育、120、血液等眾多衛(wèi)生健康數(shù)據(jù)。

5.2采集方式及頻率

5.2.1采集方式

醫(yī)療采集方式主要分為：

——在線采集

——離線采集

5.2.2采集頻率

醫(yī)療數(shù)據(jù)采集應(yīng)根據(jù)業(yè)務(wù)需求選擇不同的采集頻率，應(yīng)分為：

——秒級(jí)實(shí)時(shí)數(shù)據(jù)同步；

——不同時(shí)間單位的間隔數(shù)據(jù)采集，包括15分鐘、小時(shí)、日、月等頻率。

5.3采集作業(yè)要求

大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集作業(yè)管理應(yīng)包含作業(yè)策略、作業(yè)調(diào)度、作業(yè)監(jiān)控等基本功能，以保障采集作業(yè)

高效穩(wěn)定。采集作業(yè)要求應(yīng)完成如下目標(biāo)：

——作業(yè)策略應(yīng)包括前期處理、執(zhí)行、任務(wù)日志、異常處理；

——作業(yè)異常處理應(yīng)支持自動(dòng)重試、調(diào)用備用任務(wù)、手工重試等方式；

——作業(yè)調(diào)度應(yīng)對(duì)數(shù)據(jù)采集任務(wù)進(jìn)行全局調(diào)用；

——作業(yè)調(diào)度應(yīng)在滿足業(yè)務(wù)需求的前提下，最大限度減少數(shù)據(jù)采集頻率，降低數(shù)據(jù)源負(fù)擔(dān)；

——作業(yè)監(jiān)控應(yīng)充分考慮各采集任務(wù)存在的風(fēng)險(xiǎn)點(diǎn)，制定監(jiān)控任務(wù)，留存任務(wù)監(jiān)控記錄；

——作業(yè)管理應(yīng)能夠通過(guò)短信、郵件等方式進(jìn)行異常告警，協(xié)助運(yùn)維人員及時(shí)準(zhǔn)確發(fā)現(xiàn)問(wèn)題；

——作業(yè)管理者應(yīng)定期對(duì)數(shù)據(jù)采集作業(yè)監(jiān)控記錄進(jìn)行分析，制定作業(yè)優(yōu)化方法。

5.4采集技術(shù)要求

5.4.1綜述

醫(yī)療大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入方式針對(duì)不同業(yè)務(wù)需求、數(shù)據(jù)源適配情況常見技術(shù)包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)備

份恢復(fù)、數(shù)據(jù)同步（如OGG、CDC等）、數(shù)據(jù)并行接入工具(Sqoop、DataX)、物化視圖、ETL（抽取工

具）、集成平臺(tái)等。

5.4.2備份恢復(fù)

備份恢復(fù)是通過(guò)數(shù)據(jù)庫(kù)備份技術(shù)對(duì)生產(chǎn)庫(kù)進(jìn)行實(shí)時(shí)\定期備份后，建立備份數(shù)據(jù)后通過(guò)數(shù)據(jù)恢復(fù)技

術(shù)將數(shù)據(jù)恢復(fù)至大數(shù)據(jù)平臺(tái)，其應(yīng)滿足如下要求：

——備份恢復(fù)方式應(yīng)被應(yīng)用于大批量數(shù)據(jù)采集且對(duì)時(shí)效性要求不高的采集任務(wù)；

——備份數(shù)據(jù)庫(kù)應(yīng)在提交給平臺(tái)前做好數(shù)據(jù)脫敏、加密處理等必要前期處理后，備份生產(chǎn)庫(kù)；

——數(shù)據(jù)源備份恢復(fù)時(shí)間應(yīng)避免在業(yè)務(wù)高峰時(shí)期，減少數(shù)據(jù)源負(fù)擔(dān)。

5.4.3數(shù)據(jù)同步

數(shù)據(jù)同步是通過(guò)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)自帶的數(shù)據(jù)同步技術(shù)進(jìn)行實(shí)時(shí)數(shù)據(jù)同步，其應(yīng)滿足如下要求：

——數(shù)據(jù)同步應(yīng)被應(yīng)用于要求實(shí)時(shí)數(shù)據(jù)采集、吞吐量不大的采集任務(wù)；

——數(shù)據(jù)同步應(yīng)支持OracleGoldenGate、MysqlBinlog、SqlserverCDC等數(shù)據(jù)同步技術(shù)；

4

DBXX/TXXX—XXXX

——數(shù)據(jù)同步任務(wù)應(yīng)配置數(shù)據(jù)量效驗(yàn)規(guī)則，防止數(shù)據(jù)同步過(guò)程中的數(shù)據(jù)丟失；

——數(shù)據(jù)同步應(yīng)提供秒級(jí)的數(shù)據(jù)延時(shí)。

5.4.4物化視圖

物化視圖是包括一個(gè)查詢結(jié)果的數(shù)據(jù)庫(kù)對(duì)象，它是遠(yuǎn)程數(shù)據(jù)的的本地副本，通過(guò)物化視圖可以實(shí)現(xiàn)

數(shù)據(jù)從數(shù)據(jù)源復(fù)制到大數(shù)據(jù)平臺(tái)，其應(yīng)滿足如下要求：

——物化視圖復(fù)制應(yīng)包含只讀物化視圖復(fù)制、可更新物化視圖復(fù)制和可寫物化視圖復(fù)制；

——物化視圖對(duì)數(shù)據(jù)源侵入性較大、數(shù)據(jù)源負(fù)擔(dān)大、安全性差，應(yīng)在其他方式均無(wú)法滿足需求時(shí)

使用。

5.4.5ETL采集

ETL（ExtractTransformLoad）是一種流式數(shù)據(jù)采集，是一種高效的實(shí)時(shí)數(shù)據(jù)加工工具，可以實(shí)

現(xiàn)流式數(shù)據(jù)的抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載，其應(yīng)該滿足如下要求：

——ETL工具應(yīng)包括數(shù)據(jù)抽取、轉(zhuǎn)換、加載功能；

——ETL工具應(yīng)提供圖形化界面，支持拖拽方式配置ETL任務(wù)節(jié)點(diǎn)；

——ETL工具transformation應(yīng)包含輸入、輸出、查詢、轉(zhuǎn)化、連接、腳本環(huán)節(jié)；

——ETL工具應(yīng)支持自定義數(shù)據(jù)轉(zhuǎn)換方法，腳本環(huán)節(jié)應(yīng)支持javaScropt、python腳本編寫的數(shù)據(jù)

處理程序；

——ETL工具應(yīng)支持主流數(shù)據(jù)源對(duì)接；

——ETL工具應(yīng)支持向HIVE、Hbase、Greenplum等主流大數(shù)據(jù)平臺(tái)數(shù)據(jù)庫(kù)組件導(dǎo)入數(shù)據(jù)。

5.4.6集成平臺(tái)數(shù)據(jù)提取

醫(yī)院有集成平臺(tái)可以采用醫(yī)療大數(shù)據(jù)平臺(tái)從醫(yī)院集成平臺(tái)訂閱消息，獲取實(shí)時(shí)數(shù)據(jù)。

——集成平臺(tái)應(yīng)符合醫(yī)療行業(yè)標(biāo)準(zhǔn)接口定義規(guī)范；

——集成平臺(tái)消息傳輸應(yīng)該具備應(yīng)答機(jī)制，形成消息閉環(huán)；

——消息通過(guò)接口傳輸需要進(jìn)行加密，提高消息傳輸安全性；

——消息需要支持續(xù)傳，保證大數(shù)據(jù)平臺(tái)數(shù)據(jù)的準(zhǔn)確性及完整性。

5.5采集質(zhì)控要求

5.5.1為了保障數(shù)據(jù)采集接入時(shí)的數(shù)據(jù)質(zhì)量，應(yīng)在數(shù)據(jù)接入時(shí)完成數(shù)據(jù)質(zhì)量基礎(chǔ)檢查、字段級(jí)檢查、

表級(jí)檢查以保障數(shù)據(jù)的完整性、連續(xù)性、時(shí)效性，并進(jìn)行數(shù)據(jù)采集質(zhì)檢實(shí)時(shí)告警及定期報(bào)告生成。

5.5.2基礎(chǔ)檢查包括：

——檢查數(shù)據(jù)采集范圍是否符合要求；

——檢查數(shù)據(jù)采集實(shí)時(shí)性是否滿足要求；

——檢查數(shù)據(jù)采集作業(yè)是否連續(xù)；

——檢查數(shù)據(jù)采集作業(yè)是否存在異常；

5.5.3字段級(jí)檢查包括：

——針對(duì)數(shù)值型字段可通過(guò)計(jì)算檢查是否存在異常；

——針對(duì)業(yè)務(wù)關(guān)鍵字段可通過(guò)業(yè)務(wù)邏輯判斷檢查是否存在異常；

——針對(duì)主鍵、外鍵等關(guān)鍵字段可通過(guò)字段關(guān)聯(lián)檢查是否存在異常；

5.5.4表級(jí)檢查包括：

——表級(jí)采集可通過(guò)數(shù)據(jù)量檢查是否存在異常；

——