《醫(yī)療圖像智能分析及處理技術(shù)規(guī)范》

ICS

CCS

CI

團(tuán)體標(biāo)準(zhǔn)

T/CIXXX-2023

醫(yī)療圖像智能分析及處理技術(shù)規(guī)范

Technicalspecificationforintelligentanalysisandprocessingofmedicalimages

（征求意見稿）

2023-X-X發(fā)布2023-X-X實(shí)施

?中國(guó)國(guó)際科技促進(jìn)會(huì)?發(fā)布

T/CIXXX—2023

醫(yī)療圖像智能分析及處理技術(shù)規(guī)范

1范圍

本文件為醫(yī)療圖像智能分析及處理的關(guān)鍵技術(shù)指南，其中包含了相關(guān)術(shù)語(yǔ)和定義、醫(yī)療

圖像預(yù)處理、可視化、特征融合技術(shù)等重要內(nèi)容。

本文件主要適用于智慧醫(yī)療領(lǐng)域，醫(yī)學(xué)圖像處理是醫(yī)學(xué)領(lǐng)域中的一個(gè)重要領(lǐng)域。醫(yī)學(xué)圖

像處理可以擬合人體模型，幫助醫(yī)生看清楚內(nèi)部結(jié)構(gòu)，提高診療準(zhǔn)確率。人工智能方法已在

醫(yī)學(xué)圖像領(lǐng)域獲得了長(zhǎng)足的發(fā)展，主要包括圖像分割、配準(zhǔn)、融合、壓縮、重建、分類等，

涉及MR、超聲、PET、CT、紅外、中醫(yī)望診圖像等。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件。

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1

圖像分割I(lǐng)mageSegmentation

圖像分割是預(yù)測(cè)圖像中每一個(gè)像素所屬的類別或者物體。

3.2

可視化技術(shù)VisualizationTechnique

醫(yī)學(xué)圖像可視化技術(shù)是指利用從實(shí)驗(yàn)中獲得的、掃描器測(cè)得的、計(jì)算模型合成的醫(yī)學(xué)數(shù)

據(jù)，重建三維圖像模型，并進(jìn)行定性定量分析。

3.3

特征提取FeatureExtraction

特征提取技術(shù)是從圖像中提取出具有代表性的特征信息，將這些信息轉(zhuǎn)化為計(jì)算機(jī)可識(shí)

別、分類的形式。

3.4

特征融合FeatureFusion

指將來(lái)自不同源頭、不同模態(tài)的醫(yī)學(xué)圖像（如CT、MRI、X光等）的特征信息有效地結(jié)

合在一起。

1

T/CIXXX—2023

3.5

圖像配準(zhǔn)ImageRegistration

醫(yī)學(xué)圖像配準(zhǔn)是將不同模態(tài)、不同時(shí)間或不同位置獲取的醫(yī)學(xué)圖像進(jìn)行空間上的對(duì)齊。

4總體設(shè)計(jì)

4.1基本原則

（1）對(duì)標(biāo)國(guó)家重大需求。以國(guó)家需求為研究命題導(dǎo)向，以研究成果轉(zhuǎn)化落地為研究目

標(biāo)。

（2）緊跟學(xué)科和技術(shù)前沿。以前沿科學(xué)技術(shù)驅(qū)動(dòng)醫(yī)療圖像智能分析及處理技術(shù)的發(fā)展

創(chuàng)新，加速實(shí)現(xiàn)智能醫(yī)療領(lǐng)域升級(jí)。

（3）密切聯(lián)系實(shí)際醫(yī)療圖像智能分析及處理技術(shù)。以向真正意義信息化、標(biāo)準(zhǔn)化和智

能化方向發(fā)展為目標(biāo)。

4.2醫(yī)療圖像智能分析及處理技術(shù)總體思路介紹

針對(duì)中醫(yī)望診圖像、病理圖像、心臟超聲圖像和皮膚圖像的智能分析及分類問(wèn)題，引入

計(jì)算機(jī)視覺技術(shù)和強(qiáng)化學(xué)習(xí)理論是為了提高醫(yī)療圖像分析的準(zhǔn)確性和效率。為此，需要從醫(yī)

療圖像的預(yù)處理、特征提取、特征融合、疾病分類以及病勢(shì)推演等方面確立技術(shù)規(guī)范與標(biāo)準(zhǔn)，

以保證整個(gè)流程的可靠性和一致性。

首先，要考慮數(shù)據(jù)準(zhǔn)備的規(guī)范化，包括建立完整的數(shù)據(jù)集，保證數(shù)據(jù)的一致性和準(zhǔn)確性，

以及確保數(shù)據(jù)采集和存儲(chǔ)過(guò)程中的安全性和隱私保護(hù)。其次，在醫(yī)療圖像的預(yù)處理階段，標(biāo)

準(zhǔn)應(yīng)涵蓋病灶檢測(cè)和區(qū)域分割的精準(zhǔn)性和可靠性。特征提取階段需要明確有效的特征提取方

法，以確保關(guān)鍵特征能夠被準(zhǔn)確捕捉。特征融合階段需要確保不同來(lái)源的特征能夠被無(wú)縫整

合，以提高綜合特征的表征能力。此外，針對(duì)疾病分類和病勢(shì)推演，標(biāo)準(zhǔn)應(yīng)涵蓋多種算法的

建模過(guò)程和模型的選擇準(zhǔn)則，以確保最終的分類結(jié)果和推演準(zhǔn)確可靠。

然后，應(yīng)確立相應(yīng)的人體功能態(tài)勢(shì)測(cè)評(píng)技術(shù)標(biāo)準(zhǔn)，以保證醫(yī)療圖像分析結(jié)果與患者的實(shí)

際病情相符合。這包括明確測(cè)評(píng)指標(biāo)的選擇依據(jù)、測(cè)評(píng)結(jié)果的解釋規(guī)范，以及將測(cè)評(píng)結(jié)果與

治療決策相結(jié)合的標(biāo)準(zhǔn)化流程。

最后，通過(guò)這些嚴(yán)格的技術(shù)規(guī)范與標(biāo)準(zhǔn)，可以為構(gòu)建具有自我學(xué)習(xí)和自主推理能力的醫(yī)

療圖像智能診斷及病勢(shì)推演系統(tǒng)提供穩(wěn)固的標(biāo)準(zhǔn)化支持，從而為醫(yī)療圖像智能分析領(lǐng)域的發(fā)

展奠定堅(jiān)實(shí)基礎(chǔ)。

2

T/CIXXX—2023

4.3醫(yī)療圖像預(yù)處理

醫(yī)學(xué)圖像預(yù)處理的目的是獲得更好的圖像處理效果，以便對(duì)醫(yī)學(xué)圖像采取各種處理措施，

消除無(wú)用信息的同時(shí)恢復(fù)真實(shí)有用的信息，一般包括醫(yī)學(xué)圖像分割、去噪和增強(qiáng)等措施。對(duì)

醫(yī)療圖像進(jìn)行預(yù)處理工作，一方面，可以消除醫(yī)療圖像中噪聲，并增強(qiáng)圖像紋理效果，實(shí)現(xiàn)

提高圖像質(zhì)量的目的。另一方面，減少了醫(yī)務(wù)人員對(duì)圖像細(xì)節(jié)進(jìn)行識(shí)別和分析處理的難度，

有利于他們運(yùn)用醫(yī)學(xué)圖像進(jìn)行準(zhǔn)確分析和診斷，大大提升了醫(yī)學(xué)圖像分類的效率以及準(zhǔn)確性。

為實(shí)現(xiàn)醫(yī)療圖像的自動(dòng)化分析，首要任務(wù)是要將感興趣區(qū)域從背景中分割出來(lái)。針對(duì)病

灶區(qū)小、邊緣模糊、存在偽影等導(dǎo)致醫(yī)療圖像難以精確分割的問(wèn)題，融合病灶形狀結(jié)構(gòu)先驗(yàn)

知識(shí)，研究基于卷積神經(jīng)網(wǎng)絡(luò)的病灶圖像分割方法，引入半監(jiān)督特征學(xué)習(xí)探索脾胃反射區(qū)多

尺度邊界特征提取方法，利用卷積神經(jīng)網(wǎng)絡(luò)建立分割特征與邊界特征的上下文聚合方法，實(shí)

現(xiàn)對(duì)病灶的精確分割。

4.3.1醫(yī)療圖像分割

隨著醫(yī)學(xué)影像的快速發(fā)展，作為圖像處理技術(shù)的重要組成部分，圖像分割在醫(yī)學(xué)圖像的

研究與應(yīng)用中發(fā)揮越來(lái)越重要的作用。圖像分割就是預(yù)測(cè)圖像中每一個(gè)像素所屬的類別或者

物體。目前最常用的傳統(tǒng)醫(yī)療圖像分割方法主要包括基于閾值的分割方法、基于區(qū)域的分割

方法、邊緣分割方法、深度圖像分割等。深度學(xué)習(xí)在圖像處理任務(wù)上表現(xiàn)出強(qiáng)大的能力，因

此成為解決圖像分割問(wèn)題上的首要選擇，尤其是醫(yī)學(xué)圖像分割領(lǐng)域。醫(yī)學(xué)圖像分割在醫(yī)學(xué)圖

像分析中起著至關(guān)重要的作用，可使病灶、臟器的病理結(jié)構(gòu)變化更加明顯，為臨床診斷提供

可靠的依據(jù)，對(duì)可視化、三維重建等相關(guān)技術(shù)的發(fā)展有較大的影響。

（1）傳統(tǒng)醫(yī)療圖像分割

1）基于閾值的圖像分割

基于閾值的分割技術(shù)是圖像分割領(lǐng)域常用的算法之一，算法原理即選定一個(gè)閾值將目標(biāo)

分為兩個(gè)或多個(gè)目標(biāo)區(qū)域，使同一目標(biāo)區(qū)域內(nèi)像素的灰度值相似性最高不同目標(biāo)區(qū)域之間的

像素點(diǎn)的灰度值差異性最高?；陂撝档膱D像分割算法的核心在于選擇合適的閾值。閾值分

割分為全局閾值分割和局部閾值分割，全局閾值分割是指整幅圖像選用統(tǒng)一的閾值分割，在

背景信息與前景信息對(duì)比非常明顯的圖像中能夠很快的將背景信息從圖像中分割出來(lái)。但是

在背景信息比較復(fù)雜的圖像中使用單一的閾值很難將不同的背景信息目標(biāo)塊分割出來(lái)，這時(shí)

候就需要局部閾值分割，即在不同的局部區(qū)域選用不同的閾值。

2）基于區(qū)域的圖像分割

基于區(qū)域的圖像分割就是把具有相似性質(zhì)的像素點(diǎn)進(jìn)行連通，從而慢慢的組合成最終

3

T/CIXXX—2023

的分割區(qū)域結(jié)果。它主要是利用了圖像的局部空間信息，能夠有效地克服其他方法圖像分

割空間小的缺點(diǎn)。在基于區(qū)域的圖像分割中，如果從全圖出發(fā)，按區(qū)域?qū)傩蕴卣飨嗨频脑?/p>

則決定每個(gè)像素的區(qū)域歸屬，形成區(qū)域圖，即區(qū)域生長(zhǎng)的分割方法。如果從像素點(diǎn)出發(fā)，

按區(qū)域?qū)傩蕴卣飨嗨频臏?zhǔn)則，將屬性接近的像素點(diǎn)聚集為區(qū)域，則是區(qū)域增長(zhǎng)的分割方法。

如果綜合利用上述兩種方法，先將圖像分割成小的區(qū)域，再根據(jù)不同小區(qū)域之間的相似性進(jìn)

行合并形成大區(qū)域，就是分裂合并的方法。

3）基于邊緣的圖像分割

基于邊緣的圖像分割方法的主要理論依據(jù)是邊緣檢測(cè)理論，圖像中背景信息與前景信息

之間不連續(xù)像素的集合即為圖像的邊緣。這類算法通過(guò)檢測(cè)相鄰像素灰度值之間的差異性來(lái)

捕獲背景信息的邊緣。常用的邊緣檢測(cè)方法有空域微分算子法、基于曲面擬合的方法、小波

多尺度檢測(cè)方法、基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測(cè)方法。

（2）基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割

鑒于基于深度學(xué)習(xí)的圖像處理方法具有自我學(xué)習(xí)能力強(qiáng)、適應(yīng)能力好等優(yōu)點(diǎn)，許多基于

卷積神經(jīng)網(wǎng)絡(luò)的模型已經(jīng)達(dá)到了很好的分割性能，在醫(yī)學(xué)圖像分割的研究中取得了較好的成

果?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像分割方法可以分為語(yǔ)義分割和實(shí)例分割，語(yǔ)義分割是以像素為

單位、根據(jù)像素的語(yǔ)義信息進(jìn)行歸類；而實(shí)例分割包含檢測(cè)和描述兩個(gè)層面，對(duì)于圖像的預(yù)

測(cè)是基于實(shí)例的，醫(yī)學(xué)圖像中目標(biāo)的類別比較少，因此常采用基于像素分類的語(yǔ)義分割方法。

分割目標(biāo)的先驗(yàn)信息（如先驗(yàn)形狀和結(jié)構(gòu)）對(duì)分割任務(wù)有良好性能影響，如形狀信息有利于

增強(qiáng)模型的魯棒性和可解釋性。

1）基于深度學(xué)習(xí)的半監(jiān)督圖像分割方法

半監(jiān)督圖像分割方法介于完全監(jiān)督和無(wú)監(jiān)督之間，它需要有標(biāo)注數(shù)據(jù)和無(wú)標(biāo)

注數(shù)據(jù)共同訓(xùn)練模型。目前深度學(xué)習(xí)方法在醫(yī)療實(shí)踐的各個(gè)領(lǐng)域蓬勃發(fā)展，半監(jiān)督學(xué)習(xí)在有

標(biāo)注數(shù)據(jù)匱乏的情況下，在醫(yī)學(xué)圖像分割中取得了良好效果。為了利用未標(biāo)注數(shù)據(jù)進(jìn)行半監(jiān)

督醫(yī)學(xué)圖像分割，一種簡(jiǎn)單直觀的方法是給未標(biāo)注數(shù)據(jù)生成偽標(biāo)簽。偽標(biāo)簽通常是通過(guò)迭代

生成的，其中模型通過(guò)學(xué)習(xí)自身對(duì)未標(biāo)注數(shù)據(jù)的預(yù)測(cè)來(lái)迭代提高偽標(biāo)簽的質(zhì)量?；谏疃葘W(xué)

習(xí)的半監(jiān)督學(xué)習(xí)方法大致分為基于偽標(biāo)簽的方法、基于一致性正則的方法以及混合方法。一

致性正則的方法不追求得到無(wú)標(biāo)注數(shù)據(jù)的偽標(biāo)簽，而是通過(guò)對(duì)無(wú)標(biāo)注數(shù)據(jù)加入不同的噪聲干

擾，約束網(wǎng)絡(luò)對(duì)加噪聲的圖像產(chǎn)生相同的預(yù)測(cè)結(jié)果，提高網(wǎng)絡(luò)抗干擾能力，增強(qiáng)網(wǎng)絡(luò)魯棒性。

對(duì)半監(jiān)督醫(yī)學(xué)圖像分割方法，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)加入目標(biāo)物體的解剖先驗(yàn)，通過(guò)調(diào)整網(wǎng)絡(luò)在

不同區(qū)域優(yōu)化的權(quán)重，讓網(wǎng)絡(luò)根據(jù)重要性有側(cè)重地學(xué)習(xí)，用先驗(yàn)信息指導(dǎo)網(wǎng)絡(luò)訓(xùn)練。

4

T/CIXXX—2023

2）基于卷積神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割

隨著深度學(xué)習(xí)的興起，利用深度學(xué)習(xí)體系結(jié)構(gòu)進(jìn)行理療圖像分割，尤其是卷積神經(jīng)網(wǎng)絡(luò)

（ConvolutionalNeuralNetwork，CNN），其在檢測(cè)準(zhǔn)確率和效率方面都更優(yōu)于傳統(tǒng)的算

法。CNN是以生物的視知覺機(jī)制為基礎(chǔ)原理設(shè)計(jì)的，是一種深度學(xué)習(xí)模型。卷積神經(jīng)網(wǎng)絡(luò)最

明顯的特征是網(wǎng)絡(luò)中具有卷積結(jié)構(gòu)，能夠有效減少深層參數(shù)量，可以進(jìn)行特征提取和分類，

通過(guò)多次卷積、池化的操作不斷加深網(wǎng)絡(luò)，從而獲得多尺度的感受野來(lái)貼合不同尺寸的目標(biāo)。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法，將圖像通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征，然后進(jìn)行像素

分類，得到語(yǔ)義分割圖像。語(yǔ)義分割常用神經(jīng)網(wǎng)絡(luò)：AlexNet、VGGNet、VGGNet、ResNet。

基于編碼器－解碼器架構(gòu)的變體是當(dāng)前醫(yī)學(xué)圖像分割中最主流的網(wǎng)絡(luò)模型，如完全卷積

網(wǎng)絡(luò)FCN和U-Net。其中基于FCN分割方法的一個(gè)主要特點(diǎn)是結(jié)合多尺度策略來(lái)搭建網(wǎng)絡(luò)模

型以提取包含多尺度信息的特征圖，其包含詳細(xì)的紋理信息和豐富的上下文信息，利于提升

模型的精度。為了在獲得高級(jí)語(yǔ)義特征的基礎(chǔ)

上保留更多的結(jié)構(gòu)信息，U-Net將編碼器－解碼器結(jié)構(gòu)與跳躍連接結(jié)合，使網(wǎng)絡(luò)在解碼過(guò)程

中融入編碼端低級(jí)特征，具有優(yōu)良的分割性能。FCN因其感受野大小受到限制，無(wú)法獲取足

夠的全局上下文信息，而語(yǔ)義分割往往需要豐富的上下文信息以聚合生成精確的像素分類結(jié)

果。上下文信息的聚合主要有三種：基于多尺度的方法，基于注意力的方法和基于隨機(jī)場(chǎng)的

方法。實(shí)時(shí)圖像語(yǔ)義分割算法可以分為采用模型壓縮，比如網(wǎng)絡(luò)剪枝、低秩分解、參數(shù)量化

和知識(shí)蒸餾；設(shè)計(jì)輕量化模型，通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，能夠在不損失精度的同時(shí)降低模型的復(fù)

雜度和所需的推理時(shí)間。實(shí)時(shí)分割算法更加注重降低網(wǎng)絡(luò)的參數(shù)量和計(jì)算成本，以達(dá)到更快

的推理速度，但這不可避免地會(huì)損失精度。在深度卷積網(wǎng)絡(luò)中，感受野大小決定著網(wǎng)絡(luò)可以

獲得多大范圍的語(yǔ)義上下文信息，擴(kuò)張卷積被用來(lái)增加網(wǎng)絡(luò)感受野從而提升分割性能。

圖4-1圖像語(yǔ)義分割流程

4.3.2醫(yī)療圖像去噪

最初采集到的原始醫(yī)學(xué)圖像大多數(shù)都是含噪圖像，這些噪聲的存在對(duì)醫(yī)學(xué)圖像分析與處

理的影響很大，一定程度上增加了醫(yī)務(wù)人員對(duì)圖像細(xì)節(jié)進(jìn)行識(shí)別和分析處理的難度。如果不

5

T/CIXXX—2023

能及時(shí)進(jìn)行圖像去噪，原始圖像中的噪聲會(huì)在之后特征提取和圖像增強(qiáng)中進(jìn)一步延續(xù)和放大，

對(duì)醫(yī)務(wù)人員的正常診斷造成更加嚴(yán)重的干擾，一定程度上造成誤診率上升。因此，有必要選

擇合適的圖像去噪技術(shù)對(duì)醫(yī)學(xué)圖像進(jìn)行預(yù)處理，消除或減少圖像中的噪聲，以降低對(duì)醫(yī)學(xué)圖

像增強(qiáng)、分割和特征提取等后續(xù)圖像處理過(guò)程的不利影響。在醫(yī)學(xué)圖像去噪領(lǐng)域，平滑技術(shù)

是目前最常用的技術(shù)，包括空間域去噪法和頻域去噪法兩大類別。

（1）空間域去噪法：指通過(guò)采用不同圖像平滑模板對(duì)原始圖像進(jìn)行卷積處理，在醫(yī)學(xué)

圖像平面上修改灰度，達(dá)到抑制或消除噪聲的目的，主要包括高斯濾波、算術(shù)均值濾波和中

值濾波。

（2）頻域去噪法：指通過(guò)對(duì)圖像進(jìn)行變換后，選用適當(dāng)?shù)念l率帶通濾波器進(jìn)行濾波，

經(jīng)反變換后獲得去噪圖像，主要包括小波變換和基于稀疏變換去噪。

4.3.3醫(yī)療圖像增強(qiáng)

醫(yī)學(xué)圖像在產(chǎn)生、傳輸和存儲(chǔ)過(guò)程中，由于受光源、成像系統(tǒng)等各種復(fù)雜因素的影響，

不可避免地會(huì)導(dǎo)致出現(xiàn)不同程度地清晰度下降、對(duì)比度偏低和包含噪聲等降質(zhì)現(xiàn)象。為了便

于后續(xù)分析與處理，一般采用圖像恢復(fù)和圖像增強(qiáng)兩種技術(shù)提高圖像質(zhì)量，其中，圖像增強(qiáng)

技術(shù)在圖像處理領(lǐng)域中的應(yīng)用非常廣泛。所謂的圖像增強(qiáng)技術(shù)一般指根據(jù)圖像特點(diǎn)和處理目

的加強(qiáng)圖像的整體或局部特性，很好地保留了圖像邊界和結(jié)構(gòu)信息以及突出圖像中的某些性

質(zhì)等，提高了圖像的可判讀性，改善了圖像質(zhì)量，同時(shí)，使得圖像變得清晰，便于醫(yī)務(wù)人員

分析醫(yī)學(xué)圖像，并從中獲得更多有價(jià)值的信息。

（1）直方圖均衡化：使變換后的灰度分布更加的均衡，描述更多圖像細(xì)節(jié)。

（2）對(duì)比度拉伸：基于灰度變換的圖像增強(qiáng)，使圖像亮度達(dá)到理想的狀態(tài)。

（3）圖像銳化：補(bǔ)償圖像的輪廓，增強(qiáng)圖像的邊緣及灰度跳變的部分，使圖像變得清

晰。

4.4醫(yī)學(xué)圖像可視化技術(shù)

醫(yī)學(xué)圖像可視化技術(shù)是指利用從實(shí)驗(yàn)中獲得的、掃描器測(cè)得的、計(jì)算模型合成的醫(yī)學(xué)

數(shù)據(jù)，重建三維圖像模型，并進(jìn)行定性定量分析，為用戶提供具有真實(shí)感的三維醫(yī)學(xué)圖像，

使人們更清楚地認(rèn)識(shí)蘊(yùn)涵在體數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。醫(yī)學(xué)影像數(shù)據(jù)一般來(lái)源于醫(yī)院的CT或者

MRI等設(shè)備，醫(yī)學(xué)序列圖像經(jīng)三維重建得到的三維數(shù)字可視化醫(yī)學(xué)模型，相比于二維圖像能

提供組織器官更加直觀的三維立體視覺、顯示更加復(fù)雜的空間結(jié)構(gòu)，便于醫(yī)生多角度多層次

地觀察和分析，并且能夠使醫(yī)生有效參與數(shù)據(jù)處理與分析的過(guò)程，能幫助醫(yī)生做出更加準(zhǔn)確

的判斷。

6

T/CIXXX—2023

圖4-2醫(yī)學(xué)圖像可視化流程

由圖可知，醫(yī)學(xué)圖像可視化過(guò)程需要先讀取CT或MRI圖像切片數(shù)據(jù)，根據(jù)所需的某個(gè)

器官或者某個(gè)圖像區(qū)域?qū)T圖像進(jìn)行分割，接著再對(duì)分割后的圖像進(jìn)行三維重建，便于醫(yī)

生更直觀地觀察病灶尺寸，確定病灶在器官中的位置信息。重建后的結(jié)果能夠提供實(shí)時(shí)交互

功能，供醫(yī)生在不同的觀察角度對(duì)器官或者器官內(nèi)存在的病變進(jìn)行觀察。

三維圖像可視化是通過(guò)處理一系列二維圖像實(shí)現(xiàn)三維重建的技術(shù)。

醫(yī)學(xué)圖像文件中的圖像信息往往以體數(shù)據(jù)的方式存儲(chǔ)，根據(jù)所要可視化的內(nèi)容，可以將

醫(yī)學(xué)圖像的可視化劃分為面繪制和體繪制。

4.4.1基于面繪制的三維重建

面繪制是三維可視化的主要方法之一，在醫(yī)學(xué)圖像的三維可視化中應(yīng)用也十分廣泛。面

繪制應(yīng)用于提取整個(gè)數(shù)據(jù)空間中的某些感興趣的數(shù)據(jù)（如從頭顱中提取顱骨），即對(duì)一系列

二維斷層圖像組成的體數(shù)據(jù)進(jìn)行邊緣檢測(cè)等分割處理，根據(jù)這些提取出來(lái)的數(shù)據(jù)形成等值面，

從而能夠還原出感興趣物體的三維醫(yī)學(xué)模型，實(shí)現(xiàn)多層面顯示，這樣醫(yī)學(xué)工作者就能夠比較

直觀、整體地了解目標(biāo)物體的信息，從而更加有效地對(duì)數(shù)據(jù)進(jìn)行處理與分析。這在仿真手術(shù)、

輔助診斷、圖形引導(dǎo)手術(shù)、虛擬內(nèi)窺鏡等領(lǐng)域都具有重大意義。面繪制的流程主要如下：

第一步：閾值提取。根據(jù)醫(yī)學(xué)影像設(shè)備數(shù)據(jù)釆集的特點(diǎn)，醫(yī)學(xué)圖像中根據(jù)組織結(jié)構(gòu)的密

度等不同特性生成的圖像灰度值的不同，設(shè)定相應(yīng)的閾值，就能夠從醫(yī)學(xué)圖像中找到感興趣

物體的位置；

第二步：等值面生成。經(jīng)過(guò)閾值提取后，通過(guò)一定的規(guī)則形成拓?fù)浣Y(jié)構(gòu)從而生成物體表

面；

第三步：光照模型。通過(guò)設(shè)置光源與視線形成富有真實(shí)感的物體模型。面繪制的核心問(wèn)

題是如何在體數(shù)據(jù)中構(gòu)造等值面。從處理的基本元素來(lái)分，目前主要有兩種方式：基于切片

的面繪制以及基于體素的面繪制。

4.4.2基于體繪制的三維重建

7

T/CIXXX—2023

體繪制主要目標(biāo)是將三維體數(shù)據(jù)投影在二維平面上，繪制后結(jié)果由多個(gè)體素?cái)?shù)據(jù)組成的

3維數(shù)組構(gòu)成。直接體繪制也稱為體繪制，是非常重要的可視化算法。與面繪制方法不同，

體繪制技術(shù)并不生成中間過(guò)渡圖形，直接體繪制則將體數(shù)據(jù)集合中的每個(gè)體素看做一個(gè)具有

一定屬性顏色、不透明度的個(gè)體，通過(guò)累加體數(shù)據(jù)中每個(gè)數(shù)據(jù)對(duì)相應(yīng)二維像素點(diǎn)的貢獻(xiàn)值，

直接從三維體數(shù)據(jù)中產(chǎn)生二維圖像，體繪制技術(shù)能夠完整得展示體數(shù)據(jù)的細(xì)節(jié)。與面繪制技

術(shù)類似，體繪制中也運(yùn)用到光照模型，不同的是，體繪制以物體對(duì)光的吸收原理為基礎(chǔ)，而

面繪制中的光照模型則作為增強(qiáng)物體真實(shí)感的補(bǔ)充，起渲染作用。體繪制算法的核心問(wèn)題在

于如何計(jì)算體數(shù)據(jù)對(duì)像素點(diǎn)的貢獻(xiàn)以及圖像的合成。

常見的體繪制算法有射線投射法、足跡法、剪切-曲變法、紋理映射法、頻域體繪制法

以及基于小波的體繪制。

體繪制技術(shù)已有很多相關(guān)算法，雖然實(shí)現(xiàn)過(guò)程有差別，但這些算法大致流程概括為：數(shù)

據(jù)采集及獲取、數(shù)據(jù)預(yù)處理、體數(shù)據(jù)分類及體數(shù)據(jù)繪制四個(gè)階段。本文著重介紹醫(yī)學(xué)圖像體

繪制流程，為后續(xù)研究及改進(jìn)體繪制中的光線投射算法和傳遞函數(shù)設(shè)計(jì)方法提供相關(guān)理論基

礎(chǔ)，如圖2-8所示。

圖4-3醫(yī)學(xué)圖像體繪制流程

第一階段：體數(shù)據(jù)采集及獲取。利用醫(yī)學(xué)圖像成像設(shè)備對(duì)人體進(jìn)行斷層掃描，采集到二

維斷層數(shù)字圖像序列，獲取的CT、MRI等圖像序列，一般采用DICOM格式存儲(chǔ)。

第二階段：數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理的目的是為體數(shù)據(jù)分類效果提供保障。

第三階段：體數(shù)據(jù)分類。體數(shù)據(jù)分類是體繪制最關(guān)鍵的階段，直接決定著體繪制效果。

用傳遞函數(shù)對(duì)體數(shù)據(jù)進(jìn)行分類，傳遞函數(shù)把體數(shù)據(jù)屬性（如顏色及不透明度等）映射成相對(duì)

應(yīng)的光學(xué)屬性。

第四階段：體數(shù)據(jù)繪制。體數(shù)據(jù)繪制是把第三階段的分類結(jié)果渲染到屏幕上，以二維圖

像形式在屏幕上顯示。

8

T/CIXXX—2023

4.5醫(yī)學(xué)圖像特征提取

特征提取技術(shù)是從圖像中提取出具有代表性的特征信息，將這些信息轉(zhuǎn)化為計(jì)算機(jī)可識(shí)

別、分類的形式。在醫(yī)學(xué)圖像處理中，特征提取技術(shù)可以用于疾病的診斷、醫(yī)學(xué)圖像的分割

與配準(zhǔn)等領(lǐng)域，是醫(yī)學(xué)圖像處理的重要組成部分。圖像處理要求選取的特征能很好地描述特

征，特征提取的原則是：特征的提取應(yīng)容易方便。選取比較穩(wěn)定的特征，即特征應(yīng)對(duì)噪聲干

擾和無(wú)關(guān)聯(lián)的變化不敏感。最為重要的是選取的特征一定要有很強(qiáng)的分區(qū)能力。此外，在特

征提取中還要考慮一定的先驗(yàn)知識(shí)。所謂的圖像特征一般指圖像有別于其他類型圖像的特性

或者屬性，包括圖像的顏色、紋理、形狀和空間關(guān)系特征等4個(gè)方面。由于從圖像中所提取

的特征能準(zhǔn)確描述圖像本質(zhì)的、重要的特征，因而圖像特征提取的質(zhì)量直接影響到圖像分類

結(jié)果的準(zhǔn)確與否。

4.5.1基于顏色的特征提取

顏色特征最能直觀的反映出圖像中所含物體或場(chǎng)景的表面性質(zhì)，圖像中的每一個(gè)像素點(diǎn)

都有自身的存在意義與貢獻(xiàn)。顏色特征不僅能描述全局特征而且還可以捕捉圖像中的局部特

征，同時(shí)顏色特征本身還具有很好的抗敏感性。雖然顏色特征有其本身的諸多優(yōu)勢(shì)，但也有

其短板，顏色特征是基于像素點(diǎn)的特征，因此無(wú)法涵蓋區(qū)域像素之間的關(guān)系信息、多尺度信

息等。常用的顏色特征提取方法有：顏色直方圖、顏色集、顏色矩、顏色聚合向量、顏色相

關(guān)圖等。

4.5.2基于紋理的特征提取

紋理是圖像中不同區(qū)域的紋路和織構(gòu)，反映了區(qū)域內(nèi)像素點(diǎn)的分布情況。紋理是一種重

要的視覺線索，對(duì)圖像的粗細(xì)、疏密有很好的區(qū)分能力。紋理特征是全局特征，與顏色特征

都具有對(duì)圖像中所含物體或場(chǎng)景表面性質(zhì)的描述能力，但區(qū)別在于紋理特征是一種區(qū)域性特

征，其優(yōu)勢(shì)是符合人類對(duì)客觀事物的視覺習(xí)慣，具有旋轉(zhuǎn)不變性和強(qiáng)抗噪性，但缺點(diǎn)是容易

受到光照、反射等情況的影響。按照性質(zhì)可將紋理特征提取方法劃分為四類：基于統(tǒng)計(jì)的方

法、基于信號(hào)處理的方法、基于模型的方法和基于結(jié)構(gòu)的方法。基于統(tǒng)計(jì)方法是紋理特征提

取方法中最常用的一種方法，主要是基于圖像的統(tǒng)計(jì)特性對(duì)紋理圖像進(jìn)行分析。雖然圖像的

紋理分布情況存在一定的隨機(jī)性但在一定程度上統(tǒng)計(jì)特性卻更為突出。

4.5.3基于形狀的特征提取

圖像特征是圖像的一種穩(wěn)定屬性，并不隨圖像尺度、亮度、視角的變化而變化，具有局

部不變性。形狀特征包括：側(cè)重于物體外邊界的輪廓特征和針對(duì)整個(gè)形狀區(qū)域的區(qū)域特征。

物體其實(shí)都是點(diǎn)、線、面的組合體，常見的形狀特征提取方法有：邊界特征法、集合參數(shù)法、

9

T/CIXXX—2023

傅里葉形狀描述符法、形狀不變矩法等。

4.5.4基于空間關(guān)系的特征提取

空間關(guān)系是指圖像中的多個(gè)分割目標(biāo)間的相互空間位置信息或相對(duì)方向關(guān)系信息?？臻g

位置信息可分為強(qiáng)調(diào)目標(biāo)之間的相對(duì)情況的相對(duì)空間位置信息和強(qiáng)調(diào)目標(biāo)之間的距離大小

以及方位的絕對(duì)空間位置信息兩大類。相對(duì)方向關(guān)系是指連接/鄰接關(guān)系、交疊/重疊關(guān)系和

包含/包容關(guān)系等?？臻g關(guān)系特征有一定的辨別力，但對(duì)圖像不具有旋轉(zhuǎn)不變性以及尺度不

變性。提取圖像的空間關(guān)系特征一般有兩種方式：（1）根據(jù)某種分割算法將圖像先分割成

多個(gè)區(qū)域，然后在這些區(qū)域提取特征并建立索引；（2）直接將圖像分割成均勻的規(guī)則區(qū)塊，

然后提取各個(gè)區(qū)塊特征并建立索引。常需要配合其它特征來(lái)描述圖像的內(nèi)容。常用的提取圖

像空間關(guān)系特征的方法有兩類：基于模型的姿態(tài)估計(jì)方法和基于學(xué)習(xí)的姿態(tài)估計(jì)方法。

4.5.5基于深度學(xué)習(xí)的特征提取

基于深度學(xué)習(xí)的方法解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法需要花費(fèi)時(shí)間，手動(dòng)提取圖像特征并選擇

合適方法進(jìn)行降維的問(wèn)題，同時(shí)能夠獲得高級(jí)特征。多尺度特征提取模塊提取圖像的多尺度

特征，深度挖掘病灶區(qū)域與周邊組織的上下文信息增強(qiáng)網(wǎng)

絡(luò)的特征提取能力。使用深度特征提取模塊從通道和空間兩方面著重關(guān)注病灶區(qū)域的局

部特征，削弱不相關(guān)信息影響，加強(qiáng)對(duì)病灶區(qū)域辨識(shí)能力。運(yùn)用空洞卷積并聯(lián)構(gòu)造增強(qiáng)特征

提取模塊，在不損失圖像特征信息前提下提升分類精度，運(yùn)用卷積替換策略在減少參數(shù)量的

同時(shí)加強(qiáng)分類性能。

特征提取作為語(yǔ)義分割任務(wù)中的關(guān)鍵步驟，主要通過(guò)深層卷積操作來(lái)逐步由淺到深地提

取圖像語(yǔ)義信息。特征提取結(jié)構(gòu)可以有效地獲取圖像中的各類特征信息，但在具體的視覺任

務(wù)中，需要網(wǎng)絡(luò)聚焦目標(biāo)相關(guān)特征，對(duì)于目標(biāo)特征關(guān)注度的提升通常采用注意力機(jī)制。多尺

度特征融合主要針對(duì)目標(biāo)尺度變化問(wèn)題，利用深層特征和淺層特征逐步融合的方式來(lái)增強(qiáng)網(wǎng)

絡(luò)的尺度不變性。深度神經(jīng)網(wǎng)絡(luò)通常采用卷積操作，卷積是一種局部連接和共享參數(shù)的連接

方式，可以學(xué)習(xí)數(shù)據(jù)中的局部特征，具有多層結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)能夠?qū)\層的局部特征整

合成具有高度抽象和表達(dá)能力的全局特征，能夠較好地提取出高維數(shù)據(jù)中的有效特征。典型

的深度網(wǎng)絡(luò)如AlexNet、VGG、Inception網(wǎng)絡(luò)及殘差網(wǎng)絡(luò)（ResNet)。這些深度卷積網(wǎng)絡(luò)都

極大地提升了特征提取的性能。

針對(duì)傳統(tǒng)醫(yī)療圖像表觀特征缺乏深層語(yǔ)義信息的問(wèn)題，結(jié)合醫(yī)療圖像病灶分割結(jié)果，研

究病灶的全局深度特征提取方法，面向重點(diǎn)關(guān)注區(qū)域的局部特征，探索基于多尺度與自適應(yīng)

注意力機(jī)制的局部深度特征提取方法，建立全局深度特征與局部深度特征的聚合機(jī)制。

10

T/CIXXX—2023

4.6醫(yī)學(xué)圖像特征融合技術(shù)

針對(duì)高維、異構(gòu)、冗余、含噪的多元病灶特征，研究基于圖變換神經(jīng)網(wǎng)絡(luò)的多元望診特

征融合策略，探索基于軸向門控注意力機(jī)制的融合特征判別性增強(qiáng)方法，實(shí)現(xiàn)對(duì)可變、虛假、

冗余等特征的消除。

醫(yī)學(xué)圖像特征融合技術(shù)是指將來(lái)自不同源頭、不同模態(tài)的醫(yī)學(xué)圖像（如CT、MRI、X光

等）的特征信息有效地結(jié)合在一起，形成一個(gè)綜合的、更全面、更準(zhǔn)確的圖像特征表示。這

樣的技術(shù)有助于改善醫(yī)學(xué)圖像的診斷、治療和監(jiān)測(cè)效果，為醫(yī)生提供更全面的信息，增強(qiáng)醫(yī)

學(xué)圖像的診斷準(zhǔn)確性和可靠性。

4.6.1多元特征處理

（1）特征降維和選擇

針對(duì)高維特征，可以使用降維技術(shù)，如主成分分析（PCA）或流形學(xué)習(xí)方法，將特征投

影到低維空間，保留主要信息的同時(shí)減少冗余。如圖4-4所示，特征降維示意圖。

第一步：對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，確保每個(gè)特征的取值范圍相近。這是因?yàn)镻CA等降維

方法依賴于數(shù)據(jù)的方差，如果特征之間的尺度差異很大，會(huì)影響降維的效果。將標(biāo)準(zhǔn)化后的

數(shù)據(jù)計(jì)算特征之間的協(xié)方差矩陣。協(xié)方差矩陣反映了特征之間的線性關(guān)系程度。

第二步：對(duì)協(xié)方差矩陣進(jìn)行特征值分解，得到特征值和對(duì)應(yīng)的特征向量。特征向量是新

的特征空間的基向量，而特征值表示這些基向量的重要程度。將特征值按從大到小的順序排

列，選擇前k個(gè)特征值對(duì)應(yīng)的特征向量作為主成分。這里的k是降維后的維度，通常是根據(jù)

數(shù)據(jù)的方差貢獻(xiàn)率來(lái)確定。

第三步：將原始數(shù)據(jù)與選取的主成分組合，將數(shù)據(jù)投影到低維空間，得到降維后的數(shù)據(jù)

集。

11

T/CIXXX—2023

圖4-4特征降維示意圖

對(duì)于冗余特征，可以使用特征選擇方法，如相關(guān)系數(shù)分析或互信息，篩選出對(duì)任務(wù)有用

的特征，排除冗余信息。如圖4-5所示，為特征選擇示意圖。

圖4-5特征選擇示意圖

第一步：確定特征選擇的評(píng)估指標(biāo)，這取決于具體的問(wèn)題。例如，如果是回歸問(wèn)題，可

以使用相關(guān)系數(shù)或皮爾遜相關(guān)系數(shù)作為評(píng)估指標(biāo)；如果是分類問(wèn)題，可以使用互信息或基于

模型的特征選擇方法等。對(duì)每個(gè)特征計(jì)算所選的評(píng)估指標(biāo)，衡量每個(gè)特征與目標(biāo)變量之間的

關(guān)聯(lián)程度或重要性。

第二步：將特征根據(jù)評(píng)估指標(biāo)進(jìn)行排序，或者設(shè)置一個(gè)閾值，選擇具有較高得分的特征。

也可以采用基于模型的特征選擇方法，如遞歸特征消除（RecursiveFeatureElimination，

RFE）等。

第三步：將選取的特征組合成新的數(shù)據(jù)集，作為輸入用于建模。

（2）異構(gòu)特征融合

將來(lái)自不同醫(yī)學(xué)影像模態(tài)或處理方法的異構(gòu)特征進(jìn)行融合，可以采用圖像配準(zhǔn)和對(duì)齊技

術(shù)，確保不同特征之間空間和尺度的一致性。使用特征融合技術(shù)，如卷積神經(jīng)網(wǎng)絡(luò)中的多分

支結(jié)構(gòu)，或者圖神經(jīng)網(wǎng)絡(luò)中的圖融合模塊，將異構(gòu)特征進(jìn)行有效的融合，從而獲取更全面的

信息。

第一步：對(duì)不同模態(tài)或處理方法的醫(yī)學(xué)影像進(jìn)行圖像配準(zhǔn)和對(duì)齊，確保它們?cè)诳臻g和尺

度上保持一致。對(duì)經(jīng)過(guò)配準(zhǔn)和對(duì)齊的影像，從每個(gè)模態(tài)或處理方法中提取特征。這些特征可

以是傳統(tǒng)的圖像特征，也可以是基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)提取的高級(jí)特征。

第二步：將從不同模態(tài)或處理方法提取的特征進(jìn)行融合。可以使用卷積神經(jīng)網(wǎng)絡(luò)中的多

分支結(jié)構(gòu)，將每個(gè)模態(tài)的特征輸入到不同的分支，然后通過(guò)一定的融合策略（如拼接、加權(quán)

平均等）將它們合并。另一種方法是使用圖神經(jīng)網(wǎng)絡(luò)中的圖融合模塊，將特征表示為圖結(jié)構(gòu)，

然后通過(guò)圖融合算法將不同模態(tài)的特征融合在一起。

第三步：將融合后的特征用于建模或其他醫(yī)學(xué)圖像處理任務(wù)。這些融合后的特征通常能

12

T/CIXXX—2023

夠提供更全面的信息，有助于改進(jìn)診斷、分割、分類等醫(yī)學(xué)影像分析任務(wù)的性能。

（3）含噪特征處理

對(duì)于含噪特征，可以采用預(yù)處理方法，如濾波或去噪技術(shù)，來(lái)減少噪聲的影響，并提升

特征的質(zhì)量。濾波可以平滑數(shù)據(jù)并去除高頻噪聲，去噪技術(shù)專門處理噪聲，例如小波去噪等。

引入魯棒性增強(qiáng)的特征學(xué)習(xí)方法，如對(duì)抗性訓(xùn)練或稀疏表示等其他技術(shù)，可以增強(qiáng)特征

的魯棒性，提高對(duì)噪聲的容忍度。

4.6.2醫(yī)學(xué)圖像配準(zhǔn)

醫(yī)學(xué)圖像配準(zhǔn)是將不同模態(tài)、不同時(shí)間或不同位置獲取的醫(yī)學(xué)圖像進(jìn)行空間上的對(duì)齊，

使它們?cè)谙嗤淖鴺?biāo)系下進(jìn)行比較和分析的過(guò)程。醫(yī)學(xué)圖像配準(zhǔn)對(duì)于疾病診斷、手術(shù)規(guī)劃以

及治療評(píng)估等方面具有重要意義。醫(yī)學(xué)圖像配準(zhǔn)算法如圖4-6所示。

第一步，對(duì)要配準(zhǔn)的圖像進(jìn)行預(yù)處理，包括去除噪聲、平滑圖像、增強(qiáng)對(duì)比度等，以提

高配準(zhǔn)的準(zhǔn)確性。從每幅圖像中提取特征點(diǎn)或特征描述子，用于后續(xù)的圖像匹配。常用的特

征提取方法包括SIFT（尺度不變特征變換）、SURF（加速穩(wěn)健特征）等。

第二步，采用搜索策略來(lái)匹配特征點(diǎn)，常見的有暴力搜索（brute-force）和k-d樹等

近似搜索方法，以找到匹配的特征點(diǎn)對(duì)。在要配準(zhǔn)的圖像中，根據(jù)特征點(diǎn)或描述子之間的相

似度，進(jìn)行特征點(diǎn)匹配。常見的匹配算法有最近鄰匹配、最佳雙向匹配等?；谔卣鼽c(diǎn)的匹

配結(jié)果，選擇適合的變換模型來(lái)描述圖像之間的幾何變換關(guān)系。常見的變換模型包括剛體變

換、相似變換、仿射變換和非剛性變換等。

第三步，根據(jù)選定的變換模型，對(duì)圖像進(jìn)行配準(zhǔn)。這涉及到將目標(biāo)圖像轉(zhuǎn)換到參考圖像

的坐標(biāo)系中，使它們對(duì)齊。配準(zhǔn)后，通常需要對(duì)配準(zhǔn)結(jié)果進(jìn)行評(píng)估，檢查是否達(dá)到預(yù)期的準(zhǔn)

確性和可靠性。如果需要，可以進(jìn)行迭代優(yōu)化，改進(jìn)配準(zhǔn)結(jié)果。

圖4-6醫(yī)學(xué)圖像配準(zhǔn)算法

4.6.3基于圖變換神經(jīng)網(wǎng)絡(luò)的多元望診特征融合策略

望診是中醫(yī)傳統(tǒng)診斷方法之一，涉及到對(duì)患者的臉部、舌苔等特征進(jìn)行觀察和分析。圖

變換神經(jīng)網(wǎng)絡(luò)是一種基于圖數(shù)據(jù)的深度學(xué)習(xí)方法，能夠有效處理非結(jié)構(gòu)化的圖像數(shù)據(jù)。在望

13

T/CIXXX—2023

診圖像特征提取和圖變換神經(jīng)網(wǎng)絡(luò)基本原理的基礎(chǔ)上，設(shè)計(jì)多元望診特征融合策略。這個(gè)策

略將綜合利用臉部特征和舌苔特征，通過(guò)圖變換神經(jīng)網(wǎng)絡(luò)將它們進(jìn)行有效融合，以獲得更具

診斷能力的綜合特征。

將臉部特征和舌苔特征轉(zhuǎn)換成圖形數(shù)據(jù)，構(gòu)建望診特征圖。設(shè)計(jì)適合望診特征圖的圖變

換神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于學(xué)習(xí)和融合多元望診特征。在圖變換神經(jīng)網(wǎng)絡(luò)中，進(jìn)行多元望診特征

的融合與學(xué)習(xí)。這包括基于圖卷積和注意力機(jī)制的特征融合，以及端到端的學(xué)習(xí)過(guò)程。通過(guò)

以上步驟，可以實(shí)現(xiàn)基于圖變換神經(jīng)網(wǎng)絡(luò)的多元望診特征融合。

4.6.4基于軸向門控注意力機(jī)制的特征判別性增強(qiáng)方法

特征判別性增強(qiáng)方法是為了提高醫(yī)學(xué)圖像特征的判別能力，減少冗余特征和排除虛假特

征而設(shè)計(jì)的一種技術(shù)。

在醫(yī)學(xué)圖像特征融合中，由于特征可能存在冗余和噪聲，對(duì)于重要特征的判別能力的增

強(qiáng)尤為重要。特征判別性增強(qiáng)方法旨在通過(guò)引入軸向門控注意力機(jī)制，對(duì)多元望診特征進(jìn)行

加權(quán)和選擇，從而提高重要特征的判別能力，降低冗余和噪聲特征的影響。軸向門控注意力

機(jī)制通過(guò)學(xué)習(xí)到的權(quán)重向量，自動(dòng)地對(duì)特征進(jìn)行加權(quán)，使得對(duì)于關(guān)鍵的特征具有較高的權(quán)重，

而對(duì)于無(wú)關(guān)或冗余的特征具有較低的權(quán)重，從而增強(qiáng)特征的判別性。

軸向門控注意力機(jī)制由兩個(gè)主要部分組成：門控機(jī)制和注意力機(jī)制。在門控機(jī)制中，引

入門控單元來(lái)學(xué)習(xí)特征的重要程度，它通過(guò)學(xué)習(xí)到的門控權(quán)重來(lái)控制特征的激活與抑制。在

注意力機(jī)制中，通過(guò)計(jì)算特征與門控權(quán)重的點(diǎn)積得到特征的注意力權(quán)重，進(jìn)而對(duì)特征進(jìn)行加

權(quán)。這個(gè)過(guò)程能夠使得在特征融合過(guò)程中，重要的特征得到強(qiáng)化，無(wú)關(guān)的特征得到抑制，從

而增強(qiáng)特征的判別性。

將軸向門控注意力機(jī)制引入多元望診特征融合策略中。在特征融合階段，將望診圖像中

的臉部特征和舌苔特征分別作為輸入，并通過(guò)軸向門控注意力機(jī)制對(duì)它們進(jìn)行特征判別性增

強(qiáng)。注意力機(jī)制將計(jì)算不同特征與門控權(quán)重的點(diǎn)積，得到每個(gè)特征的注意力權(quán)重，然后將這

些注意力權(quán)重與特征相乘，以得到特征加權(quán)后的結(jié)果。這樣，將增強(qiáng)對(duì)于診斷重要的特征，

抑制對(duì)診斷無(wú)關(guān)的特征，從而實(shí)現(xiàn)對(duì)多元望診特征的優(yōu)化和判別性增強(qiáng)。

4.7疾病診斷及病勢(shì)推演技術(shù)

圍繞中醫(yī)望診圖像、病理圖像、心臟超聲圖像、皮膚圖像，依據(jù)病灶融合特征與中西醫(yī)

辨證/辨病體系，研究基于因果強(qiáng)化學(xué)習(xí)的疾病智能診斷策略，探索疾病的病勢(shì)轉(zhuǎn)化與動(dòng)態(tài)

推演模型，實(shí)現(xiàn)對(duì)患者的智能準(zhǔn)確診斷。

4.7.1構(gòu)建因果推斷模型

14

T/CIXXX—2023

在醫(yī)學(xué)圖像分析和疾病智能診斷領(lǐng)域，準(zhǔn)確理解疾病與醫(yī)學(xué)圖像之間的因果關(guān)系對(duì)于提

高診斷準(zhǔn)確性和效率至關(guān)重要。因此，本標(biāo)準(zhǔn)旨在構(gòu)建因果推斷模型，從大量的醫(yī)學(xué)圖像和

病例數(shù)據(jù)中挖掘出特征之間的因果關(guān)聯(lián)，以幫助理解不同特征之間的因果影響，并為智能診

斷器提供更準(zhǔn)確的信息和決策支持。

第一步：進(jìn)行數(shù)據(jù)預(yù)處理和特征工程，確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。

第二步：基于預(yù)處理后的特征數(shù)據(jù)，需要進(jìn)行因果關(guān)系挖掘。這可以通過(guò)因果推斷方法

來(lái)實(shí)現(xiàn)，如因果圖模型、結(jié)構(gòu)方程模型等。因果關(guān)系挖掘的目標(biāo)是找出不同特征之間的因果

關(guān)系，即哪些特征對(duì)于疾病診斷起到關(guān)鍵作用。

第三步：在因果關(guān)系挖掘的基礎(chǔ)上，構(gòu)建因果推斷模型。這個(gè)模型可以是基于統(tǒng)計(jì)學(xué)方

法的，如概率圖模型，也可以是基于機(jī)器學(xué)習(xí)的，如深度神經(jīng)網(wǎng)絡(luò)。模型的選擇和構(gòu)建需要

根據(jù)具體任務(wù)和數(shù)據(jù)特點(diǎn)進(jìn)行考慮。構(gòu)建完因果推斷模型后，需要對(duì)模型進(jìn)