診療信息化產(chǎn)業(yè)及多家上市企業(yè)梳理(14)

1、AR 增強(qiáng)現(xiàn)實用于醫(yī)療的八大案例作者：安福雙，AR行業(yè)分析師，AR出版、AR教育、AR玩具行業(yè)的從業(yè)者和觀 察者，這幾年， AR 增強(qiáng)現(xiàn)實技術(shù)的發(fā)展突飛猛進(jìn)，廣泛應(yīng)用于工業(yè)、教育、旅游等多 個行業(yè)。這種被譽為下一代計算平臺、 下一代人機(jī)交互平臺的通用平臺， 自然也 被醫(yī)療行業(yè)人士關(guān)注到， 被應(yīng)用于臨床、 康復(fù)、心理治療、 藥品等多個醫(yī)學(xué)領(lǐng)域。 下面的8個典型AR醫(yī)療案例展示了 AR應(yīng)用于醫(yī)療健康方面的巨大潛力。OrCam增強(qiáng)現(xiàn)實系統(tǒng)讓盲人自由活動OrCam是 一套基于攝像頭的增強(qiáng)現(xiàn)實系統(tǒng)，可以讓視力受損人群（包括盲人）自 由地閱讀和活動。OrCam通過一根細(xì)小的線纜與便攜式電腦相連，電腦的大小

2、可以放在兜里，攝像 頭則通過磁鐵跟鏡框吸附在一起， 可識別穿戴者指向的字和物體。 。它使用聲頻 反饋傳遞用戶無法看到視覺信息， 骨傳導(dǎo)的揚聲器將讀取到的內(nèi)容 （報紙、路標(biāo)、 紅綠燈、人臉等）清晰地傳遞給用戶，在捕捉到文本或符號影像后，利用人工視 覺軟件通過耳機(jī)大聲朗讀出盲人正在閱讀的單詞。 總之能夠讓盲人“通過聽覺來 看東西”，提供他們所需的機(jī)動性來滿足日常生活中的需要。OrCam還具備用戶學(xué)習(xí)功能，未來可實現(xiàn)面部識別、地點辨識、顏色識別等，真正幫助盲人更便利 地生活。盧克海恩斯是英國第一個試戴這款最新高科技眼鏡的用戶，從而在20年后第一次可以閱讀。他 1997 年做了兒童期腦瘤切除手術(shù)后，左

3、眼便失去了視力，右 眼的視力也僅剩 3%。由于身體狀況，他無法上學(xué)，找不到工作，多年來感到孤 立無助。增強(qiáng)現(xiàn)實眼鏡改變了海恩斯的生活， 使得他真正體會到了讀書的樂趣。 這位年輕 人從此變得對未來充滿信心，正在考慮申請讀大學(xué)這件以前是想都不敢想的事， 還希望找到一份與園藝相關(guān)的工作。 “我過去即使是去樂購超市這樣簡單的事也 不喜歡做，因為每次到了那兒都只能挑選相同的物品?！焙６魉垢吲d地說， “現(xiàn) 在，我不需要任何人的幫助可以在里面逛上好幾個小時，真是太棒了。”“這款可穿戴的人工智能夾式相機(jī)能為盲人讀取文本， 描述對象， 識別面孔。 就 像蘋果的 siri 或微軟的 cortana ，充當(dāng)私人助理

4、'的角色。但它高出一籌， 有眼睛和 耳朵?！?orcam營銷總監(jiān)埃利亞夫羅德曼表示，“它在今 年推出，上半年提供給開發(fā)商，下半年面向消費者?！?“orcam 鏡可以提供向你 走來的人的實時輪廓，在你的智能手機(jī)或手表上展示他們的細(xì)節(jié)?！眂am聯(lián)合創(chuàng)始人阿姆農(nóng)沙書亞指出，它甚至可以監(jiān)控你見到的人的面部表情和討論的主題， 讓你事后知道你與朋友和家人互動的質(zhì)量。”orcam公司幫助盲人以一種全新的方式認(rèn)識世界，成為2015年值得關(guān)注的10家 以色列初創(chuàng)企業(yè)之一。最近，這家人工視覺公司獲英特爾公司 1500 萬美元(大 約合 9709.5 萬人民幣元)的投資 視頻光學(xué)透視增強(qiáng)現(xiàn)實系統(tǒng)：外科醫(yī)生的

5、“小秘” 你聽說過能幫助外科醫(yī)生進(jìn)行手術(shù)的 “眼鏡助手” 嘛？外科醫(yī)生戴上眼鏡， 就能 看到患者身體各種參數(shù)信息，想想是不是很神奇呢！由歐洲委員會資助， 比薩大學(xué)信息工程系協(xié)作研發(fā)的視頻光學(xué)透視增強(qiáng)現(xiàn)實系統(tǒng) ( Video Optical See-Through AugmentedReality Surgical System，VOSTAR)S， 已進(jìn)行了 3 年多的研究。最終產(chǎn)品是用于在手術(shù)期間引導(dǎo)外科醫(yī)生的混合可穿戴 顯示器。該設(shè)備能夠?qū)?X 射線數(shù)據(jù)疊加到病人的身體上。 它能顯示完全不同的場 景，是真實環(huán)境與外科醫(yī)生的感覺結(jié)合的手術(shù)指南。VOSTAR設(shè)計有一個頭戴式攝像頭，能夠捕捉到外科

6、醫(yī)生的一舉一動。這些圖像 能夠與來自CT，MRI或3DUS掃描的患者醫(yī)學(xué)圖像合并。另外，該設(shè)備還可以縮 短手術(shù)時間。生物醫(yī)學(xué)工程和項目研究員 Vincenzo Ferreri 說：“得益于這項技術(shù)，外科醫(yī) 生將在他的視線中獲得心跳，血氧和所有患者的參數(shù)等信息?！?“此外，該設(shè)備 將能夠看到在手術(shù)之前和手術(shù)期間獲得的所有醫(yī)療信息， 完全符合患者的解剖結(jié) 構(gòu)，并向外科醫(yī)生提供虛擬X射線視圖，以精確地引導(dǎo)手術(shù)。”VOSTAR還將提供關(guān)于所使用的麻醉類型和每個患者消耗的時間量信息。AccuVeir讓你直接看到毛細(xì)血管2013年，美國AccuVein公司使用AR技術(shù)為護(hù)士和患者提供幫助。根據(jù)統(tǒng)計， 40

7、%的靜脈注射第一次都不會成功，如果患者是兒童或老年人時，情 況就會更加糟糕。AccuVein針對不同場景開發(fā)了四種型號產(chǎn)品。用于在靜脈扎針、抽血、硬化治 療、一般外科手術(shù)及整容手術(shù)等過程中直接照射于皮膚表面，呈現(xiàn)出血管紋路以實現(xiàn)血管定位的產(chǎn)品。AccuVein使用AR技術(shù)和手持式掃描儀，通過掃描患者身體，向護(hù)士和醫(yī)生展示 患者體內(nèi)靜脈的位置。AccuVein公司的Lucia no表示：“這種技術(shù)的出現(xiàn)將大 大提升找準(zhǔn)靜脈的可能性，它的推出至少能造福1000萬患者”。據(jù)報道，AccuVein可以讓靜脈穿刺的首次成功率從 45.6%飆升到90.3%。以后去 醫(yī)院掛水打吊針的時候，護(hù)士小姐可以“一陣

8、見血”啦！ 用AR技術(shù)治療截肢者的慢性幻肢痛幻肢痛是一種疑難雜癥：截肢者主觀感覺已被截除的肢體仍然存在，這是一種幻覺現(xiàn)象，卻很棘手。然而目前，一種新型的增強(qiáng)現(xiàn)實療法在減少患者的幻痛方面 出奇地有效。Chalmers科技大學(xué)的 Max Ortiz Catalan 于2014年最先提出 AR治療方法，目 前剛完成第一個非常有前景的臨床試驗。該團(tuán)隊選擇 14名患有慢性幻肢痛的截 肢者作為試驗對象，這些患者曾嘗試過很多其他治療方法，然而病情并無改善?；颊邔⑴宕魃蠙z測曾控制缺失肢體的肌肉信號的肌電傳感器。 通過跟蹤和分析這 些信號，并將患者與虛擬環(huán)境融為一體-在那個虛擬影像中，患者的四肢都是完 整的，患

9、者可以身臨其境地張開手或扭動手腕。該校準(zhǔn)一旦完成，虛擬肢體被疊加在患者截肢部位的實況網(wǎng)絡(luò)圖像上?；颊呖梢?思考動作，虛擬肢體會執(zhí)行。每半個月進(jìn)行一次治療，在長達(dá)12次的治療過程中，患者被要求使用虛擬肢體進(jìn)行各種操作，比如說使用傳感器控制賽車游戲中 的汽車等。令人驚訝的是，在12個治療結(jié)束時，患者的疼痛減少了大約一半，并且患者的 日常生活開始回歸正軌， 睡眠情況也同樣得到改善。 四名患者減少了止痛劑的服 用劑量，其中兩名甚至減少了 81的劑量。六個月后，患者的情況仍然在改善， 這意味著AR療法具有持續(xù)的治療效果。“這個結(jié)果讓患者看到了希望， 尤其是那些曾嘗試過四種無效的治療方法的患者 們?！?C

10、atalan 在新聞發(fā)布會上說，“從患者第一次治療到最后一次治療，我們 親眼目睹了患者疼痛情況的改善。 患者的疼痛情況不斷減輕的事實表明， 患者可 以通過更多的療程中進(jìn)一步地改善病況?！比绻贏R中移動虛擬肢體緩解疼痛的想法會讓你感到陌生，請不要擔(dān)心一一陌 生是事實。 幻肢痛本就是一種捉摸不透的疾病， 有些時候， 正是因為這種陌生的 治療方式才能有效地治療這種疾病?；弥W也是一個疾病，例如：想象一下，如果你感覺瘙癢卻不能去抓，因為瘙癢 的肢體部位是不存在的。 有些人幸運地找到了解決方案， 讓患者坐在一面特殊的 鏡子前面，截肢的部位隱藏鏡外， 他在鏡子里只能看到自己健全手臂或腿的映象。 患者在鏡

11、子里撓瘙癢部位， 幻影瘙癢就消失了。 無論相信與否， 這種形式和其他 形式的鏡子療法發(fā)展十分成熟了雖然偶爾會失效。從邏輯上來說，這種AR療法類似于進(jìn)化的鏡子療法。為真實存在的疑難雜癥提 供了極有價值的工具。威海市中心醫(yī)院：AR助力細(xì)胞瘤切除手術(shù)2017年3月21日，威海市中心醫(yī)院通過“ AR （增強(qiáng)現(xiàn)實）技術(shù)”和“ 3D打印技 術(shù)”高科技手段，順利完成了一例骶尾部巨大梭形細(xì)胞瘤切除及椎體置換手術(shù)。在此次手術(shù)過程中，把AR技術(shù)與3D打印技術(shù)完美應(yīng)用到骨科領(lǐng)域，在全國尚屬 首例。不久前，家住文登區(qū)、今年 66歲的林慶（化名）因渾身無力到威海市中心醫(yī)院 檢查，醫(yī)生意外發(fā)現(xiàn)他腹部有一個皮球大小的腫塊，

12、經(jīng)多學(xué)科會診，結(jié)合CT、磁共振、穿刺取病理等檢查結(jié)果， 確定為低惡性腰椎部腫瘤。 因腫瘤侵蝕第五椎 體且巨大，若不及時治療，患者隨時都有生命危險。目前，對于腫瘤侵犯腰椎體， 手術(shù)切除仍然是治療的關(guān)鍵。 考慮到患者的實際情 況，主治醫(yī)師與患者家屬進(jìn)行了詳細(xì)溝通，最終決定為林慶實施腰椎腫瘤切除 3D打印椎體置換術(shù)，以醫(yī)學(xué)影像數(shù)據(jù)為基礎(chǔ)，利用 3D打印技術(shù)制作個性化人工 椎體，術(shù)中植入到患者體內(nèi)，建立腰椎新的穩(wěn)定系統(tǒng)。21 日早 8時 50分，緊張的手術(shù)正式開始，泰山學(xué)者特聘專家、威海市中心醫(yī)院 院長叢海波， 脊柱外科資深專家張恩忠， 創(chuàng)傷骨外科主任馬兆強(qiáng)等專家共同進(jìn)行 手術(shù)，血管介入外科、泌尿外科

13、、麻醉科、影像科、輸血科、手術(shù)室等多學(xué)科專 家共同配合，借助上海霖晏科技提供的 AR技術(shù)，患者腹部11厘米X 9厘米X 6 厘米大小的腫瘤被完整切除，并順利植入3D打印的金屬椎體，歷時4個多小時， 手術(shù)全過程患者生命體征平穩(wěn)，按計劃完成手術(shù)。醫(yī)生佩戴AR眼鏡進(jìn)行手術(shù)的同時，記者通過外接屏幕進(jìn)行了觀摩。通過AR眼鏡 傳輸?shù)漠嬅妫浾吒杏X自己仿佛置身于手術(shù)臺上，醫(yī)生通過語音和手勢控制 AR 眼鏡所示畫面，在術(shù)中對動脈、靜脈、骨骼進(jìn)行切換顯示及拖拉平移等操作，記 者可以通過外接屏幕，以主刀醫(yī)生的視野來觀看這場精細(xì)的手術(shù)。據(jù)了解， 3D 打印技術(shù)應(yīng)用于骨科手術(shù)，在威海市中心醫(yī)院已不罕見。不僅大規(guī) 模用

14、于髖臼骨折手術(shù)，在骨科重大腫瘤切除上的應(yīng)用也已十分成熟。此次AR技術(shù)的應(yīng)用，使患者的血管、組織、病灶部位 360度呈現(xiàn)在醫(yī)生眼前，大大增加了手術(shù)的安全性，提高了手術(shù)的精準(zhǔn)度。增強(qiáng)現(xiàn)實（AR技術(shù)應(yīng)用于手術(shù)的第二步，讓患者變成“透明人”。這次手術(shù)， 利用CT核磁共振多角度拍攝的片子，計算機(jī)還原出一個虛擬卻又無比逼真的 患者人體構(gòu)造，病人和醫(yī)生可以更加清楚手術(shù)要如何實施。 醫(yī)生戴上AR眼鏡后， 通過聲控和手勢指令， 虛擬的病灶就完全可以剝離出來， 醫(yī)生可以在這樣生動逼 真的世界里，模擬手術(shù)全過程。然后，最關(guān)鍵的手術(shù)臨場應(yīng)用增強(qiáng)現(xiàn)實技術(shù)“透視”手術(shù)部位。叢海波介紹，這 個過程是最為重要的，就是將增強(qiáng)現(xiàn)

15、實（AR技術(shù)，與真實手術(shù)無縫對接。在手 術(shù)中，如果碰到棘手的部位，可以戴上眼鏡，眼睛掃過的地方，視野里就會出現(xiàn) 一個逼真的虛擬場景，真實的環(huán)境和虛擬的物體實時出現(xiàn)在同一個畫面或空間， 兩種信息相互補(bǔ)充， 患者病灶整個部位的構(gòu)造也就一清二楚了。 術(shù)者就像長了“透 視眼”，可以直接透過皮膚看見腫瘤的位置、 大小、深度，避開重要血管、 神經(jīng)、 組織，提高手術(shù)安全性。“這次AR技術(shù)的成功應(yīng)用，既是一次嘗試更是一次偉大的突破?！眳埠２ǜ嬖V 記者，接下來，威海市中心醫(yī)院將更加深入對于數(shù)字化醫(yī)療和精準(zhǔn)醫(yī)療的探索， 促進(jìn)“ 3D打印”技術(shù)、“ AR'技術(shù)的從骨科領(lǐng)域向更廣闊的醫(yī)學(xué)領(lǐng)域拓展，緊 跟醫(yī)學(xué)發(fā)

16、展前沿步伐，全面造福百姓。總之，3D技術(shù)椎體腫瘤切除+ AR技術(shù)的應(yīng)用，實現(xiàn)了術(shù)前、術(shù)中全過程的精準(zhǔn) 可視，患者得到了最佳的治療效果，手術(shù)的安全性和精準(zhǔn)性大大提高。湖南省腫瘤醫(yī)院：借助增強(qiáng)現(xiàn)實技術(shù)完成腫瘤切除手術(shù)2017年，湖南省腫瘤醫(yī)院胸外一科借助增強(qiáng)現(xiàn)實技術(shù)（ AR，為該院患者唐智 英完成了首例該技術(shù)下胸壁腫瘤切除加胸壁重建手術(shù)。 目前，患者恢復(fù)良好出院?；颊咛浦怯?，因發(fā)現(xiàn)胸腹壁腫塊 8+年入院，術(shù)前診斷考慮為胸壁低度惡性腫瘤， 呈啞鈴狀， 肌層及胸廓內(nèi)均有病變， 而且累及胸壁及數(shù)根肋骨， 且與心臟表面緊 貼。保守治療無法取得較好效果，必須手術(shù)治療。但手術(shù)治療，不僅腫瘤切除有 一定難度，

17、腫瘤切除后胸壁將出現(xiàn)嚴(yán)重的骨缺損， 影響患者術(shù)后的呼吸功能， 且 患者心肺難以得到較好的胸壁保護(hù)。湖南省腫瘤醫(yī)院胸外一科肖高明主任醫(yī)師團(tuán)隊， 腹外科吳飛躍主任、 石磊副主任 醫(yī)師團(tuán)隊等將患者的CT數(shù)據(jù)導(dǎo)入專業(yè)醫(yī)學(xué)圖像處理系統(tǒng)，對患者心臟、大血管、 肋骨、肋軟骨、胸骨、肺和胸壁腫瘤進(jìn)行了數(shù)據(jù)半自動分割和三維重建，并根據(jù) 胸骨、肋骨的性狀和腫瘤侵蝕范圍， 在計算機(jī)上進(jìn)行數(shù)字化輔助腫瘤切除術(shù)方案 的設(shè)計，并于電腦上進(jìn)行了手術(shù)預(yù)演。在“增強(qiáng)現(xiàn)實技術(shù)”的協(xié)助下，手術(shù)進(jìn)行 得非常順利，增強(qiáng)現(xiàn)實與實際病變完全吻合。增強(qiáng)現(xiàn)實（AR技術(shù)通過術(shù)前三維影像重建，能夠克服術(shù)者腔鏡視野下手術(shù)操 作的諸多不便，為術(shù)者提供

18、更準(zhǔn)確的解剖信息，故近年來在醫(yī)療領(lǐng)域發(fā)展迅速。 但與腦組織等位置相對固定的器官不同， 肝臟位移幅度大， 需專門的手術(shù)助手在 術(shù)中實時手動校準(zhǔn)圖像，操作復(fù)雜且難以保證準(zhǔn)確性?！坝辛?AR增強(qiáng)現(xiàn)實技術(shù)，術(shù)中主刀醫(yī)師不僅可以現(xiàn)實下直觀大致觀察腫瘤表面 形態(tài)、大小等實際情況， 而且可以在增強(qiáng)現(xiàn)實技術(shù)虛擬的圖象上精準(zhǔn)判斷腫瘤需 切除范圍、腫瘤血運、以及腫瘤深面與心臟距離等，從而設(shè)計手術(shù)方案、模擬手 術(shù)操作，手術(shù)難度及手術(shù)風(fēng)險大大降低?！焙鲜∧[瘤醫(yī)院負(fù)責(zé)人說。應(yīng)用基于圖像處理的手術(shù)導(dǎo)航技術(shù)，醫(yī)生可以在手術(shù)之前，根據(jù)患病部位的三 維圖像確定完善的手術(shù)計劃； 在手術(shù)過程中， 可以由病灶的實際位置確定刀口的

19、大小，使刀口達(dá)到最小的程度， 采用相關(guān)的手術(shù)導(dǎo)航器械， 就能在系統(tǒng)中建立位 置精確的三維立體模型， 從而能夠避免傷及到周圍附近的其他重要的組織血管以 及神經(jīng)，設(shè)計出安全的手術(shù)流程， 也可以在手術(shù)過程中進(jìn)行實時監(jiān)控， 判斷手術(shù) 是否達(dá)到預(yù)期目標(biāo)， 從而降低手術(shù)風(fēng)險以及難度， 提高手術(shù)成功率， 減少手術(shù)時 間。法國斯特拉斯堡大學(xué)：微創(chuàng)肝切除外科近年來腔鏡肝臟外科手術(shù)發(fā)展緩慢， 使微創(chuàng)肝切除外科的發(fā)展受到了局限， 一些 特殊位置的肝臟切除更是微創(chuàng)外科的禁地。 隨著計算機(jī)成像指導(dǎo)下的外科技術(shù)飛 速發(fā)展，思維開闊的外科醫(yī)生們， 因此開始設(shè)想運用 AR 技術(shù)，通過制定一個可 以應(yīng)用到手術(shù)室中的術(shù)前虛擬切除

20、計劃，為解決這一課題提供新的思路。2015 年，來自法國斯特拉斯堡大學(xué)的 Pessaux 教授在增強(qiáng)現(xiàn)實技術(shù)輔助下，采 用經(jīng)胸腔鏡肝切除術(shù)成功切除一例肝頂部腫瘤， 表明該方法對肝后段和上段腫瘤 微創(chuàng)切除的安全有效。接受手術(shù)的患者為一名 52 歲男性，活檢診斷為位于肝 S8 段的孤立性， 高分化 型肝細(xì)胞癌。患者有非酒精性脂肪性肝炎及膽囊切除術(shù)病史。 手術(shù)時間為 270 分 鐘，術(shù)中失血約 300 ml ，術(shù)后 3 天拔管出院。腔鏡肝切除術(shù)相比傳統(tǒng)開腹手術(shù)具有許多不可比擬的優(yōu)點， 因此外科醫(yī)生們一直 致力發(fā)展新的腔鏡技術(shù)于擴(kuò)大其適用范圍， 使更多患者受益。 肝后段和上段腫瘤 一直是微創(chuàng)肝切除術(shù)不

21、可碰觸的領(lǐng)地， Pessaux 教授等人的研究是對這一課題的 新的探索。解決了手術(shù)入路問題后， AR 技術(shù)的應(yīng)用則解決了其余的問題。 AR 技術(shù)將術(shù)前模 擬與術(shù)中實時導(dǎo)航連接， 解決了觸覺反饋丟失和三維可視化難題， 便于開展更加 特異精準(zhǔn)的微創(chuàng)肝切除術(shù)。 首先， 術(shù)前對病人進(jìn)行薄層 CT 三期掃描， 同時可結(jié) 合肝臟MRI，運用IRCAD 3D虛擬現(xiàn)實軟件，重建患者特異的虛擬3D模型。視 頻成像系統(tǒng)采用外部攝像機(jī)為體外成像， 腔鏡攝像機(jī)為體內(nèi)成像。 采集的圖像通 過三維虛擬模型技術(shù)疊加到現(xiàn)場手術(shù)圖像上， 再由計算機(jī)科學(xué)家在遠(yuǎn)程站點執(zhí)行 關(guān)鍵的注冊過程以確保圖像的精確復(fù)合， 最終產(chǎn)生的圖像會顯示

22、在手術(shù)室顯示器 上?；颊卟捎秒p腔支氣管插管麻醉， 左側(cè)臥位。 首先在腔鏡下確認(rèn)可以較易在肝 門部放置血管夾， 以確保肝切時需要 Pringle 手法阻斷肝血流。 AR 技術(shù)首先用 在右胸部和上腹部，用以放置 trocars ，獲得對病灶部位最優(yōu)的三角定位。雖然存在種種限制，但增強(qiáng)現(xiàn)實輔導(dǎo)下的經(jīng)胸腔鏡肝切除術(shù)仍是一種安全有效 的微創(chuàng)切除肝頂部腫瘤的術(shù)式。密歇根大學(xué)兒童醫(yī)院：AR游戲加快恢復(fù)重病兒童密歇根大學(xué) C.S. Mott兒童醫(yī)院的醫(yī)生 Leah Hagamen和理療師Donna Thompson 日前表示，AR游戲口袋妖怪GO能夠讓孩子們在玩游戲的同時練習(xí)運動技能， 從而可以幫助那些重病兒童加快從從傷病中恢復(fù)過來的速度。半年前，他們剛剛為一位叫做 John Haas-Pueblo 的 7 歲小盆友做完一場腦動脈 瘤手術(shù)；曾經(jīng)被其他醫(yī)院的醫(yī)生要求放棄治療的