2023年預(yù)訓(xùn)練大模型與醫(yī)療市場(chǎng)前景及投資研究報(bào)告：算法研究應(yīng)用

CONTENTS1.

預(yù)訓(xùn)練大模型概述2.

理解大模型的內(nèi)在機(jī)理3.

賦予模型精準(zhǔn)性與可解釋性4.

醫(yī)療領(lǐng)域應(yīng)用5.

清華探索：數(shù)基生命Tsinghua

Confidential

|lvhairong@CHIMA

20Pag2e2

3預(yù)訓(xùn)練：從大數(shù)據(jù)到小數(shù)據(jù)少量特定領(lǐng)域標(biāo)注數(shù)據(jù)（成本高）①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型大數(shù)據(jù)（低成本無(wú)標(biāo)注）③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命微調(diào)小模型（學(xué)習(xí)特性）預(yù)訓(xùn)練大模型（學(xué)習(xí)共性）1.模型角度：模型參數(shù)不再是隨機(jī)初始化，而是通過(guò)一些任務(wù)（如語(yǔ)言模型）進(jìn)行預(yù)訓(xùn)練；2.數(shù)據(jù)角度：將訓(xùn)練任務(wù)拆解成共性學(xué)習(xí)和特性學(xué)習(xí)兩個(gè)步驟。CHIMA2023以英文電子病歷后結(jié)構(gòu)化為示例英文電子病歷后結(jié)構(gòu)化A①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型不懂英文英文電子病歷后結(jié)構(gòu)化B懂英文③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命英文電子病歷后結(jié)構(gòu)化C懂英文的醫(yī)生CHIMA2023Transformer架構(gòu)：預(yù)訓(xùn)練的基石①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命從

word2vec

到

Transformer從

context-free

到

context-awareCHIMA2023BERT和GPT?

兩類典型的大語(yǔ)言模型?

BERT：BidirectionalEncoderRepresentations

fromTransformers①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型?

雙向模型，同時(shí)考慮前文和后文?

采用掩碼語(yǔ)言模型（masked

language

model）和下一句預(yù)測(cè)任務(wù)（next

sentence

prediction）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語(yǔ)義③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命?

通常用于文本分類、序列標(biāo)注、問(wèn)答等任務(wù)?

GPT：GenerativePre-trained

Transformer?

單向模型，只考慮前文，不考慮后文?

采用自回歸（autoregressive）的方式生成文本，即逐個(gè)生成下一個(gè)詞?

通常用于生成文本、對(duì)話、問(wèn)答等任務(wù)CHIMA2023BERT訓(xùn)練①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命BERT主要采用掩碼語(yǔ)言模型（masked

language

model，對(duì)應(yīng)圖Mask

LM）和下一句預(yù)測(cè)任務(wù)（next

sentenceprediction，對(duì)應(yīng)圖NSP）進(jìn)行預(yù)訓(xùn)練，使得模型能夠?qū)W習(xí)到上下文關(guān)系和詞匯語(yǔ)義。預(yù)訓(xùn)練好的BERT可以用于對(duì)輸入文本進(jìn)行編碼，得到具有語(yǔ)義的向量表示。預(yù)訓(xùn)練好的BERT也可以通過(guò)微調(diào)（fine-tuning）方式適配各類NLP任務(wù)：The

Stanford

Question

AnsweringDataset問(wèn)答（SQuAD）、命名實(shí)體識(shí)別（NER）、MNLI任務(wù)（大規(guī)模分類任務(wù)，目標(biāo)是預(yù)測(cè)第二個(gè)句子相對(duì)于第一個(gè)句子是包含，矛盾還是中立）CHIMA2023BERT表示能力①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命Represented

IntoSeCHIMA2023BERT類模型①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型2019年7月

Facebook

AI基于BERT模型的擴(kuò)展參數(shù)量1.15億,3.4億2018年10月

Google

AI提出BERT模型參數(shù)量1.15億,3.4億數(shù)據(jù)量約

16GB數(shù)據(jù)量約

160GB.③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命2021年10月

MicrosoftAI在BERT模型上引入解碼與注意力解耦參數(shù)量3.4億2020年2月

Google

AI提出的輕量化BERT模型參數(shù)量0.2億，0.61億，2.4億數(shù)據(jù)量約

16GB數(shù)據(jù)量約

78GB2019年8月

清華大學(xué)提出知識(shí)注入BERT模型，后由Baidu

AI

更新迭代到3.0版本參數(shù)量1.15億，1.25億，100億數(shù)據(jù)量約

12GB，22.9G，4TB2020年3月

Google

AI在BERT模型引入GAN參數(shù)量3.4億數(shù)據(jù)量約

16GBCHIMA2023GPT發(fā)展史2019年2月2022年1月OpenAI提出GPT-3.5模型參數(shù)量13億,

60億，1750億數(shù)據(jù)量40TB2017年6月OpenAI提出One-shot

GPT-2模型參數(shù)量15億數(shù)據(jù)量40GB①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型Google提出Transformer模型2020年5月2023年第一季度2017年6月OpenAI提出Zero-shot

GPT-3模型參數(shù)量1750億數(shù)據(jù)量40TBOpenAI提出GPT-4模型百萬(wàn)億級(jí)別參數(shù)量OpenAI提出Few-shot

GPT-1模型參數(shù)量1.17

億數(shù)據(jù)量約

5GB③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命增加GPT解釋翻譯能力解碼器部分為GPT發(fā)展奠定基礎(chǔ)賦予GPT推理能力賦予GPT處理多任務(wù)的能力多模態(tài)生成賦予GPT預(yù)測(cè)下一個(gè)字符串能力CHIMA2023GPT訓(xùn)練過(guò)程UnsupervisedPre-training①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型UntrainedGPT③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命Expensive

trainingonmassivedatasetsDatasets:300

billion

tokensoftextObjective:

Predict

thenext

wordExample:a?robot

mustCHIMA2023GPT應(yīng)用①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型GPT具有搜索引擎的功能2021年12月賦予GPT理解人類

指令的能力2022年2月人類對(duì)話的能力GPT在編寫(xiě)代2021年③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命11月CHIMA2023模型內(nèi)部本質(zhì)上是基于統(tǒng)計(jì)的文字生成器通過(guò)對(duì)海量文本的學(xué)習(xí)，自動(dòng)構(gòu)建了一個(gè)含有1750

億參數(shù)的大模型，建立了對(duì)這個(gè)世界基本的邏輯認(rèn)知，由此產(chǎn)生了基于邏輯的推理能力實(shí)際上是根據(jù)對(duì)話中的最近

4095

個(gè)記號(hào)，算出緊接著最可能是哪個(gè)記號(hào)①

關(guān)

于

預(yù)

訓(xùn)

練但，ChatGPT

≠模型②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命模型負(fù)責(zé)把最近的對(duì)話內(nèi)容翻譯為一張概率表ChatGPT

負(fù)責(zé)根據(jù)這張表選出下一個(gè)記號(hào)，再讓模型算再下一個(gè)記號(hào)的概率表CHIMA2023可以理解為高階的馬爾可夫鏈后續(xù)狀態(tài)按一定概率取決于過(guò)去狀態(tài)的隨機(jī)過(guò)程，被稱為馬爾可夫鏈m階馬爾可夫鏈模型可以根據(jù)前

m個(gè)記號(hào)算出下一個(gè)記號(hào)的概率分布①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命1階馬爾可夫鏈3階馬爾可夫鏈ChatGPT根據(jù)前

4095

個(gè)記號(hào)猜下一個(gè)記號(hào)，所以是一個(gè)

4095

階的馬爾可夫鏈如果ChatGPT遇到它在訓(xùn)練時(shí)從沒(méi)見(jiàn)過(guò)的記號(hào)串怎么辦？——神經(jīng)網(wǎng)絡(luò)能很好解決這個(gè)問(wèn)題CHIMA2023概念：嵌入向量（embedding

vector）嵌入向量：①

關(guān)

于

預(yù)

訓(xùn)

練?

在GPT里面，把一個(gè)記號(hào)作為一個(gè)

N維浮點(diǎn)數(shù)向量來(lái)表示。這種用一個(gè)向量來(lái)表示一個(gè)單詞或記號(hào)的方法按神經(jīng)網(wǎng)絡(luò)的術(shù)語(yǔ)就叫做嵌入?

一個(gè)單詞對(duì)應(yīng)的向量叫這個(gè)單詞的嵌入向量②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命?

把每個(gè)單詞或記號(hào)（token）在

GPT內(nèi)部都會(huì)通過(guò)一層簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)映射層對(duì)應(yīng)到一個(gè)嵌入向量，這個(gè)向量代表了記號(hào)的語(yǔ)言特征?

GPT-3是

1600維，GPT-3.5

2048維CHIMA2023位置信息的引入使用Transformer擺脫了人工標(biāo)注數(shù)據(jù)集的缺陷，模型在質(zhì)量上更優(yōu)、更易于并行化，所需訓(xùn)練時(shí)間明顯更少①

關(guān)

于

預(yù)

訓(xùn)

練?

第一步：將離散的順序號(hào)轉(zhuǎn)換成一個(gè)與嵌入向量長(zhǎng)度相同的向量，稱為位置編碼（positional

encoding）②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命?

第二步：將位置編碼與嵌入向量相加（即對(duì)應(yīng)的元素相加），結(jié)果作為后續(xù)處理的輸入向量?

第三步：輸入向量會(huì)被送到多層Transformer進(jìn)行后續(xù)處理，每層Transformer的參數(shù)不同，但都會(huì)讓輸入先經(jīng)過(guò)一個(gè)線性投影層?

第四步：線性投影層將輸入向量投影到另一個(gè)維度空間，剔除不重要的維度，將高維向量簡(jiǎn)化為低維向量CHIMA2023ChatGPT待優(yōu)化的部分可信性無(wú)法保證，還不能提供合理的證據(jù)010305進(jìn)行可信性驗(yàn)證時(shí)效性差，無(wú)法實(shí)時(shí)地融入新知識(shí)，知識(shí)范圍局限于基礎(chǔ)大規(guī)模語(yǔ)言模型使用的預(yù)訓(xùn)練數(shù)據(jù)時(shí)間之前①

關(guān)

于

預(yù)

訓(xùn)

練020406②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命成本高、部署困難、每次調(diào)用花費(fèi)不菲，對(duì)工程能力有很高的要求，GPT-3模型的訓(xùn)練成本在875萬(wàn)

-1093.75萬(wàn)美元之間在特定的專業(yè)領(lǐng)域上表現(xiàn)欠佳，訓(xùn)練數(shù)據(jù)是通用數(shù)據(jù)，沒(méi)有領(lǐng)域?qū)I(yè)數(shù)據(jù)因?yàn)閿?shù)據(jù)的偏見(jiàn)性，很可能生成有害內(nèi)容反映的是標(biāo)注人員的偏好，在標(biāo)注人員分布不均的情況下，可能會(huì)引入新的偏見(jiàn)問(wèn)題CHIMA2023如何讓ChatGPT更靠譜ChatGPT

不是每次都選概率最大的記號(hào)①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命兩個(gè)關(guān)鍵參數(shù)：?

temperature

參數(shù)?

top_p參數(shù)CHIMA2023temperature參數(shù)?

控制語(yǔ)言模型輸出的隨機(jī)性或創(chuàng)造性的參數(shù)?

temperature

參數(shù)=0，模型每次都挑最佳候選字，從不偏離?

temperature

參數(shù)越大，生僻的選擇變得更容易被選中?

openAI

試驗(yàn)場(chǎng)（playground）限制

temperature

參數(shù)在

0到

1的區(qū)間①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命t=0t=0.4t=2CHIMA2023top_p參數(shù)?

限制

top_p參數(shù)在

0到

1的區(qū)間?

拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概率超過(guò)

top_p值的時(shí)候即停止，剩下的候選字徹底放棄①

關(guān)

于

預(yù)

訓(xùn)

練?

top_p=0，只保留最高頻的一個(gè)字?

top_p=0.5，考慮總概率占

50%的那些最高頻的字?

top_p=1，全部候選字都考慮②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命top_p=0top_p=0.1top_p=1CHIMA2023大模型精確性提升思路：知識(shí)嵌入大模型語(yǔ)言本身具有很強(qiáng)的語(yǔ)言理解或生成能力，然而為了提高其敘述內(nèi)容的真實(shí)性和嚴(yán)謹(jǐn)性，需要采用特定的技術(shù)路線，例如將知識(shí)圖譜中的事實(shí)描述融入大模型的訓(xùn)練過(guò)程中。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型知識(shí)嵌入：Zhang等人通過(guò)將知識(shí)圖譜的表示向量加入到BERT中對(duì)應(yīng)的tokens編碼內(nèi)，從而使得模型學(xué)習(xí)到與知識(shí)相關(guān)的事實(shí)信息，增強(qiáng)了模型在相應(yīng)知識(shí)領(lǐng)域的準(zhǔn)確性。[1]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命相關(guān)模型在FewRel和TACRED上的表現(xiàn)參考：[1]

Zhang,

Zhengyan,

et

al."ERNIE:

Enhanced

language

representation

with

informative

entities."

arXivpreprint

arXiv:1905.07129

(2019).CHIMA2023大模型精確性提升思路：知識(shí)預(yù)測(cè)知識(shí)圖譜應(yīng)用于大模型訓(xùn)練后階段：Liu等人提出了知識(shí)生成式大模型提示方法，讓模型進(jìn)行知識(shí)預(yù)測(cè)，通過(guò)將知識(shí)圖譜的三元組形式轉(zhuǎn)化成Question

and

answer的形式，讓模型生成一些知識(shí)，然后將這些知識(shí)進(jìn)行聚合，從而得到最終的更為精確靠譜的結(jié)果。模型在數(shù)值常識(shí)（NumerSense）、一般常識(shí)①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型（CommonsenseQA

2.0）和科學(xué)常識(shí)（QASC）基準(zhǔn)測(cè)試中進(jìn)行實(shí)驗(yàn)，得出了將外部知識(shí)融入到大模型中能夠提升其常識(shí)推理任務(wù)的精度的結(jié)論。[1]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023大模型精確性提升思路：少樣本提示ChatGPT作為一種生成模型，存在一些問(wèn)題。其中最主要的問(wèn)題是不確定性和預(yù)訓(xùn)練語(yǔ)料庫(kù)中存在的某些局限性，這可能導(dǎo)致ChatGPT在回答一些問(wèn)題時(shí)存在時(shí)效性、事實(shí)性以及內(nèi)容①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型不合規(guī)等情況。[1]少樣本提示：盡管大型語(yǔ)言模型展現(xiàn)出驚人的零樣本能力（泛化能力），但在復(fù)雜的任務(wù)中使用零樣本設(shè)置時(shí)仍然表現(xiàn)不佳。為了提高模型的性能，我們可以采用少樣本提示技術(shù)來(lái)啟發(fā)上下文學(xué)習(xí)。這種技術(shù)可以通過(guò)給模型提供示例演示來(lái)引導(dǎo)其生成更好的響應(yīng)。演示作為后續(xù)示例的條件，可以有效地提高模型的準(zhǔn)確③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用性和可靠性。[2]⑤

數(shù)

基

生

命參考：[1]

/TgqDT3gGaMdkHasLZv/article/details/130211938[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精確性提升思路：自我一致性由于ChatGPT的訓(xùn)練機(jī)制主要專注于“單字接龍”，其在涉及算術(shù)和常識(shí)推理的任務(wù)中的精確性仍有待提升。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型自我一致性：由Wang等人提出，其核心思想是在鏈?zhǔn)剿伎嫉膒rompt

[1]基礎(chǔ)上，通過(guò)采樣適量的多個(gè)不同推理路徑，根據(jù)這些方案的一致性情況得出最合理的結(jié)果，從而提高模型的準(zhǔn)確性和可靠性。[2]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

mptingguide.ai/zh/techniques/cot[2]

mptingguide.ai/zh/techniques/fewshotCHIMA2023大模型精確性提升思路：提示語(yǔ)工程通過(guò)適當(dāng)?shù)腜rompt

engineering，可以提升ChatGPT在相應(yīng)任務(wù)上的精確性。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型ImpressionGPT：使用“動(dòng)態(tài)prompt”

來(lái)構(gòu)建具有相似診斷報(bào)告的“動(dòng)態(tài)上下文”

環(huán)境；對(duì)生成的報(bào)告進(jìn)行評(píng)估，利用評(píng)估結(jié)果來(lái)指導(dǎo)ChatGPT

生成增強(qiáng)的響應(yīng)，讓ChatGPT能夠從好樣本和壞樣本中學(xué)習(xí)到相關(guān)內(nèi)容。[1]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用ChatCAD

：設(shè)計(jì)了三種不同的Prompt，將視覺(jué)模型得到的結(jié)果通過(guò)Prompt更好的讓語(yǔ)言模型理解，通過(guò)ChatGPT與CAD結(jié)合，得到了診斷的性能提升。[2]⑤

數(shù)

基

生

命參考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).[2]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023大模型可解釋性機(jī)器學(xué)習(xí)模型的可解釋性?

傳統(tǒng)模型的可解釋性思路?

模型相關(guān)①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型?

模型無(wú)關(guān)?

大模型的可解釋性思路?

基于attention機(jī)制：大模型如BERT和ChatGPT等大都基于attention機(jī)制構(gòu)建，但隨著模型參數(shù)量不斷增大，通過(guò)attention機(jī)制也無(wú)法進(jìn)行模型內(nèi)部的解釋③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用?

Prompt

Engineering思路：對(duì)話中的post-hoc（事后）可解釋性⑤

數(shù)

基

生

命CHIMA2023傳統(tǒng)可解釋性思路白箱算法的可解釋性與模型構(gòu)造本身高度相關(guān)，因此對(duì)于大模型可以根據(jù)相關(guān)思路設(shè)計(jì)更具有針對(duì)性的可解釋性方法。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型主流的模型相關(guān)可解釋性方法：?

基于梯度顯著性[1]?

基于因果啟發(fā)[2]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用?

基于注意力機(jī)制[3]?

基于神經(jīng)元分析[4]⑤

數(shù)

基

生

命參考：[1]

Wang,

Junlin,

et

al."Gradient-based

analysis

ofNLP

modelsismanipulable."arXivpreprint

arXiv:2010.05419

(2020).[2]

Meng,

Kevin,etal.

"Locatingand

editingfactual

knowledge

in

gpt."

arXiv

preprint

arXiv:2202.05262

(2022).[2]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).[4]

Dai,Damai,et

al."Knowledge

neurons

inpretrained

transformers."arXivpreprint

arXiv:2104.08696

(2021).CHIMA2023針對(duì)大模型的可解釋性思路：多層注意力機(jī)制注意力中的表層模式注意力頭探查?

注意力模塊的相對(duì)位置?

分隔符標(biāo)記?

集中注意力與廣泛注意力???探查個(gè)別注意力頭探查注意力頭組合注意力聚類BERT、GPT等大預(yù)言模型的基礎(chǔ)框架為transformer，因此對(duì)于此類大模型的可解釋性多與transformer

模型的架構(gòu)與機(jī)制有關(guān)。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型多層注意力機(jī)制：在Transformer模型中，通常包含大量的attention層。因此，每個(gè)attention層對(duì)于模型最終輸出的影響很難用單層的熱力圖來(lái)解釋。如果想要探究這類大型模型的可解釋性，就必須從多層注意機(jī)制入手，并深入探究多個(gè)層之間以及同一層中不同multi-head之間的關(guān)系，以及它們對(duì)最終結(jié)果的影響。[1]③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Clark,

Kevin,et

al.

"What

doesbert

look

at?

an

analysisof

bert's

attention."arXivpreprint

arXiv:1906.04341

(2019).CHIMA2023針對(duì)大模型的可解釋性思路：信息流解析信息流解析：注重模型處理過(guò)程中，過(guò)程信息流的可視化，這樣做的意義和價(jià)值在于模型的使用者能夠非常清晰的找出模型的輸出結(jié)果與哪些輸入有關(guān)，以及這些關(guān)聯(lián)機(jī)制在模型的內(nèi)部是怎樣提現(xiàn)的。由于Transformer中注意力層的數(shù)量眾多，其黑箱特性使得信息在其中的傳遞變得錯(cuò)綜復(fù)雜。通過(guò)追蹤tokens在①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型Transformer內(nèi)部結(jié)構(gòu)中的信息流向，能夠幫助③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用追溯預(yù)測(cè)結(jié)果的依據(jù)明度并提高其可信度。，從而增加模型的透[1]⑤

數(shù)

基

生

命參考：[1]

Lu,

K.

,et

al.

"Influence

Patterns

forExplainingInformationFlowinBERT."

(2020).CHIMA2023針對(duì)大模型的可解釋性思路：

Prompt

Engineering（ChatGPT時(shí)代）通過(guò)Prompt

engineering，ChatGPT能夠?qū)ο嚓P(guān)的結(jié)果做出一定的事后解釋，這樣的解釋以自然語(yǔ)言的形式給出，讓人更易理解。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型鏈?zhǔn)剿伎迹篧ei等人引入鏈?zhǔn)剿伎迹–oT）提示通過(guò)中間推理步驟實(shí)現(xiàn)了復(fù)雜的推理能力，這樣的方法不僅可以提升任務(wù)結(jié)果的準(zhǔn)確性，同時(shí)也能使得模型的推理過(guò)程一定程度上透明化，從而平衡其黑箱特性帶來(lái)的過(guò)程不可見(jiàn)性，增加結(jié)果的可行度

。③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

mptingguide.ai/zh/techniques/cotCHIMA2023針對(duì)大模型的可解釋性思路：

Prompt

Engineering思路背景生成知識(shí)提示：大模型精準(zhǔn)性的板塊所講到的生成式知識(shí)大模型提示方法，實(shí)際上，這種方法類似于鏈?zhǔn)剿伎挤椒?，它讓大模型針?duì)一個(gè)問(wèn)題生成特定的知識(shí)，并以這些知識(shí)作為其思考過(guò)程的基礎(chǔ)。然后將這些知識(shí)進(jìn)行聚合，最終得出一個(gè)答案。這樣的過(guò)程也是一種可解釋性。通過(guò)生成式知識(shí)提示，我們可以了解大模型在推理和生成答案時(shí)所參考的具體知識(shí)，從而更好地理解其決策過(guò)程。這種方法可以幫助我們發(fā)現(xiàn)模型可能存在的偏見(jiàn)或錯(cuò)誤，并進(jìn)一步優(yōu)化模型性能。同時(shí)，由于知識(shí)的結(jié)構(gòu)化特點(diǎn)，它還可以為人們提供更加結(jié)構(gòu)化的模型解釋，增強(qiáng)模型的可解釋性。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Liu,Jiacheng,

et

al."Generated

knowledge

promptingforcommonsensereasoning."arXivpreprint

arXiv:2110.08387

(2021)CHIMA2023醫(yī)療領(lǐng)域應(yīng)用場(chǎng)景①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT應(yīng)用于自動(dòng)印象生成背景在標(biāo)準(zhǔn)的放射學(xué)報(bào)告中，印象部分是對(duì)整個(gè)報(bào)告描述的總結(jié)。自動(dòng)印象生成（Automaticimpressiongeneration，AIG）成為醫(yī)學(xué)領(lǐng)域NLP研究的重點(diǎn)。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋挑戰(zhàn)：對(duì)放射科醫(yī)生來(lái)說(shuō)，寫(xiě)下大量“印象”既費(fèi)力又容易出錯(cuò)。盡管最近的研究中基于預(yù)訓(xùn)練和微調(diào)預(yù)訓(xùn)練模型在醫(yī)學(xué)文本領(lǐng)域中的自動(dòng)印象生成方面取得了不錯(cuò)的效果，但此類模型通常需要大量的醫(yī)學(xué)文本數(shù)據(jù)并且泛化性能較差。ImpressionGPT技術(shù)流程圖思路：

ImpressionGPT[1]使用動(dòng)態(tài)提示（dynamicprompt）和迭代優(yōu)化（iterative

optimization）來(lái)增強(qiáng)

ChatGPT

對(duì)放射學(xué)報(bào)告摘要的適應(yīng)性。④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Ma,Chong,

et

al.

"ImpressionGPT:

AnIterative

OptimizingFrameworkforRadiologyReport

Summarizationwith

ChatGPT."

arXiv

preprint

arXiv:2304.08448

(2023).CHIMA2023ChatGPT應(yīng)用于自動(dòng)印象生成最近的研究表明，設(shè)計(jì)prompt以引導(dǎo)模型關(guān)注輸入的相關(guān)方面，可以產(chǎn)生更精確和一致的輸出。因此prompt

engineering對(duì)自動(dòng)印象生成非常重要。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命首先使用標(biāo)簽器對(duì)報(bào)告的“發(fā)現(xiàn)”部分進(jìn)行分類并提取疾病標(biāo)簽，然后基于疾病類別，在現(xiàn)有的診斷報(bào)告語(yǔ)料庫(kù)中搜索相似的報(bào)告。使用“動(dòng)態(tài)提示”

來(lái)構(gòu)建具有相似診斷報(bào)告的“動(dòng)態(tài)上下文”

環(huán)境，以便

ChatGPT

可以學(xué)習(xí)總結(jié)與當(dāng)前疾病相關(guān)的診斷報(bào)告。CHIMA2023ChatGPT應(yīng)用于自動(dòng)印象生成①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋ImpressionGPT在AIG任務(wù)的兩個(gè)經(jīng)典數(shù)據(jù)集MIMIC-CXR和OpenI上取得了不少的性能提升。④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命對(duì)生成的報(bào)告進(jìn)行評(píng)估，利用評(píng)估結(jié)果來(lái)指導(dǎo)ChatGPT

生成增強(qiáng)的響應(yīng)：采用“Instruction

+Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學(xué)習(xí)到相關(guān)內(nèi)容。參考：[1]

Qiu,Jianing,

et

al.

"Large

AIModels

inHealth

Informatics:Applications,

Challenges,

and

theFuture."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷背景用于醫(yī)學(xué)圖像的計(jì)算機(jī)輔助診斷

(CAD)網(wǎng)絡(luò)通過(guò)使用先進(jìn)的深度學(xué)習(xí)算法來(lái)支持臨床決策，在醫(yī)學(xué)領(lǐng)域取得了重大成功。大型語(yǔ)言模型

(LLM)最近展示了在臨床應(yīng)用中的潛力，其提供了寶貴的醫(yī)學(xué)知識(shí)和建議。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋ChatCAD技術(shù)流程圖挑戰(zhàn)：LLM目前難以從這些醫(yī)學(xué)圖像中解釋和提取信息，從而限制了他們?nèi)嬷С峙R床決策過(guò)程的能力。思路：

ChatCAD[1]將

LLM

的醫(yī)學(xué)領(lǐng)域知識(shí)和邏輯推理的優(yōu)勢(shì)與現(xiàn)有醫(yī)學(xué)圖像

CAD模型的視覺(jué)理解能力相結(jié)合，為患者提供了一個(gè)更加用戶友好和易于理解的系統(tǒng)。CAD與ChatGPT結(jié)合后的交互式問(wèn)答系統(tǒng)示例④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Wang,

Sheng,

et

al.

"Chatcad:

Interactive

computer-aided

diagnosison

medicalimage

usinglarge

language

models."

arXiv

preprint

arXiv:2302.07257

(2023).CHIMA2023ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋使用了三種不同的prompt設(shè)計(jì)，prompt作為tensor到text的紐帶從醫(yī)學(xué)圖像得到prompt的策略：1)

將檢查圖像（例如X射線）輸入經(jīng)過(guò)訓(xùn)練的

CAD模型以獲得輸出2)

Prompt#1將這些輸出（通常是張量Output

tensor）翻譯成自然語(yǔ)言（LLM的提示句）3)

Prompt#2將使用評(píng)分系統(tǒng)設(shè)計(jì)，將Output

tensor中的分?jǐn)?shù)分為四類，并用每類對(duì)應(yīng)的自然語(yǔ)言描述五個(gè)觀察值中每一個(gè)的可能性4)

Prompt#3是一個(gè)簡(jiǎn)潔的prompt，報(bào)告在Output

tensor中診斷分?jǐn)?shù)高于0.5的疾病，如果五種疾病都沒(méi)有預(yù)測(cè)，則提示“未發(fā)現(xiàn)”④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命CHIMA2023ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命CHIMA2023ChatGPT應(yīng)用于醫(yī)學(xué)圖像輔助診斷①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命ChatCAD利用ChatGPT與三種不同的prompt設(shè)計(jì)生成的報(bào)告交互式ChatCAD的兩個(gè)示例基于視覺(jué)模型的結(jié)果和語(yǔ)言模型中預(yù)訓(xùn)練的醫(yī)學(xué)知識(shí)，交互式ChatCAD可以進(jìn)行有關(guān)癥狀、診斷和治療的對(duì)話CHIMA2023團(tuán)隊(duì)目前在醫(yī)療領(lǐng)域的探索與工作醫(yī)學(xué)影像報(bào)告中的所見(jiàn)->影像學(xué)報(bào)告中的印象1）構(gòu)建并融合知識(shí)圖譜

+

LLaMa（Meta公司開(kāi)源的生成式大模①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋大模型：參數(shù)化的知識(shí)庫(kù)型）利用知識(shí)圖譜直接顯式的進(jìn)行形式化拼接，引入預(yù)訓(xùn)練語(yǔ)料，通過(guò)微調(diào)的開(kāi)源大模型，得到精確性與可解釋性更好的模型。prompt2）知識(shí)圖譜在prompt

engineering中的應(yīng)用方法知識(shí)圖譜：形式化的知識(shí)庫(kù)知識(shí)圖譜的引入可以使其上下文環(huán)境更符合現(xiàn)有領(lǐng)域知識(shí)，比如用知識(shí)圖譜來(lái)構(gòu)建不同疾病之間的關(guān)系。通過(guò)知識(shí)圖譜引入專家知識(shí)，在prompt前進(jìn)行一定約束，可以提供更可靠、有效的prompt。Prompt是兩類知識(shí)相互融合的橋梁④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命知識(shí)圖譜本身具有可讀性和一定可解釋性，在大模型中引入知識(shí)圖譜使得模型的輸入更可靠CHIMA2023提出了新的模型架構(gòu)：EnhancedBERT1.

使用密集連接的方式可以連接不同層的表示到最頂層，有助于增強(qiáng)BERT表示的能力。①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋2.

融合圖結(jié)構(gòu)，一方面可以使大模型編碼圖結(jié)構(gòu)信息，另一方面有助于提升大模型建模序列中的精確語(yǔ)義信息。④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命使用BookCorpus和WikiPedia訓(xùn)練4層的tiny

BERT和tiny

EnhancedBERT，結(jié)果顯示EnhancedBERT相較于原始BERT有較大的提升。CHIMA2023醫(yī)療領(lǐng)域應(yīng)用實(shí)踐與探索一些問(wèn)題仍待探索①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋1）在多機(jī)構(gòu)場(chǎng)景中所涉及的數(shù)據(jù)隱私和安全問(wèn)題2）知識(shí)圖譜（KG）在prompt

design中的使用，以使其更符合現(xiàn)有領(lǐng)域知識(shí)（如不同疾病之間的關(guān)系）3）“人在回路”在prompt優(yōu)化迭代的過(guò)程中的重要作用4）更豐富的數(shù)據(jù)集和基準(zhǔn)（如包含患者主訴信息的基準(zhǔn)數(shù)據(jù)集）5）多模態(tài)數(shù)據(jù)6）……④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命參考：[1]

Qiu,Jianing,

et

al.

"Large

AIModelsinHealth

Informatics:Applications,

Challenges,

and

the

Future."arXivpreprint

arXiv:2303.11568

(2023).CHIMA2023清華大學(xué)數(shù)基生命交叉創(chuàng)新群體群體帶頭人群體顧問(wèn)張學(xué)工李衍達(dá)戴瓊海董家鴻WingH.

Wong生物信息與機(jī)器學(xué)習(xí)專家清華大學(xué)自動(dòng)化系教授國(guó)際計(jì)算生物學(xué)學(xué)會(huì)會(huì)士中國(guó)科學(xué)院院士中國(guó)工程院院士中國(guó)工程院院士美國(guó)科學(xué)院院士①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生群體骨干汪小我江瑞古槿謝震閭海榮魏磊張靜CHIMA2023智能醫(yī)療的關(guān)鍵：信息獲取、理解與呈遞錯(cuò)失的機(jī)會(huì)、浪費(fèi)的資源損失的生命①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命生命機(jī)理科學(xué)發(fā)現(xiàn)臨床科學(xué)發(fā)現(xiàn)未能轉(zhuǎn)化為應(yīng)用可用技術(shù)患者CHIMA2023解決思路：數(shù)基生命

-

醫(yī)療行業(yè)研究與產(chǎn)業(yè)發(fā)展的新范式生命數(shù)字化機(jī)理模型化應(yīng)用智能化①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命通過(guò)全方位、多尺度、多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)感知，把人體表征為數(shù)字化實(shí)體。在數(shù)字化實(shí)體中，實(shí)現(xiàn)貫穿人體分子、細(xì)胞、組織、器官和系統(tǒng)的數(shù)學(xué)模型，讓數(shù)字實(shí)體“活起來(lái)”，模擬生老病死各種生命過(guò)程，形成人體“數(shù)字孿生”。通過(guò)模擬個(gè)體健康演化和疾病發(fā)生發(fā)展過(guò)程,推演各種因素作用,定量評(píng)估重要生命過(guò)程,提供精準(zhǔn)的動(dòng)態(tài)健康指導(dǎo)和疾病治療方案。CHIMA2023通過(guò)模型化重構(gòu)應(yīng)用生態(tài)數(shù)基生命實(shí)驗(yàn)群體-個(gè)體-系統(tǒng)-器官-組織-細(xì)胞-宏觀-------應(yīng)用智能化①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命智能健康管理全場(chǎng)景智能化精準(zhǔn)醫(yī)健機(jī)理模型化數(shù)基設(shè)計(jì)靶向治療數(shù)據(jù)-知識(shí)雙驅(qū)動(dòng)構(gòu)建大模型---生命數(shù)字化智能精準(zhǔn)醫(yī)療全方位跨尺度數(shù)據(jù)感知-數(shù)碳耦合組織工程分子微觀共性平臺(tái)技術(shù)智能公共健康生命機(jī)理數(shù)基重現(xiàn)CHIMA2023數(shù)據(jù)-知識(shí)雙驅(qū)動(dòng)的數(shù)基生命大模型從基因、細(xì)胞到系統(tǒng)的數(shù)字畫(huà)像數(shù)基-碳基融合生命系統(tǒng)調(diào)控①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命人體全方位定量數(shù)據(jù)感知數(shù)基智能精準(zhǔn)醫(yī)健數(shù)基生命大模型醫(yī)健全場(chǎng)景數(shù)字化數(shù)基孿生推演優(yōu)化CHIMA2023臨床預(yù)訓(xùn)練模型與知識(shí)圖譜10萬(wàn)小時(shí)語(yǔ)音訓(xùn)練數(shù)據(jù)100+萬(wàn)級(jí)語(yǔ)音專業(yè)詞匯訓(xùn)練10G

專業(yè)醫(yī)療文本、文獻(xiàn)語(yǔ)料100G

日常文本訓(xùn)練數(shù)據(jù)語(yǔ)音識(shí)別+語(yǔ)音合成?????以多項(xiàng)專利技術(shù)、GPT和海量數(shù)據(jù)為支撐建立面向?qū)I(yè)醫(yī)學(xué)場(chǎng)景的識(shí)別模型，識(shí)別準(zhǔn)確率高達(dá)97.5%;BERT模型深度改進(jìn)+知識(shí)圖譜融合自然語(yǔ)言理解讓每個(gè)醫(yī)生都擁有一個(gè)”機(jī)器人”

團(tuán)隊(duì)醫(yī)學(xué)知識(shí)管理目前平均每天為100000+名患者提供診前診后服務(wù)??支持多輪對(duì)話復(fù)雜路徑推理①

關(guān)

于

預(yù)

訓(xùn)

練②

剖

析

大

模

型③

精

準(zhǔn)

可

解

釋④

醫(yī)

療

應(yīng)

用⑤

數(shù)

基

生

命百萬(wàn)級(jí)基礎(chǔ)知識(shí)圖譜+?？茟?yīng)用GAN網(wǎng)絡(luò)技術(shù)，對(duì)高噪聲低采樣率信號(hào)進(jìn)行了優(yōu)化，場(chǎng)景測(cè)試準(zhǔn)確率領(lǐng)先其它廠商5%;????面向醫(yī)療文本、對(duì)話交互等場(chǎng)景，持續(xù)研發(fā)構(gòu)建預(yù)訓(xùn)練大模型基礎(chǔ)模型庫(kù)，為不同應(yīng)用場(chǎng)景的NLP任務(wù)提供更堅(jiān)實(shí)的支撐。通過(guò)大量實(shí)踐積累和深度優(yōu)化，構(gòu)建了一套面向院后疾病管理領(lǐng)域的高精度人機(jī)對(duì)