2020歐盟人工智能白皮書

歐盟人工智能白皮書||數(shù)據(jù)法盟33布魯塞爾，2020年02月19日COM(2020)65終版||數(shù)據(jù)法盟人工智能白皮書：追求卓越和信任的歐洲路徑人工智能發(fā)展迅速。它通過我們可以預見的不同方式改變著我們的生活，比如通過改善醫(yī)療保?。ɡ?，更準確地診斷，更好地預防疾?。?，提高耕作效率，有助于緩解和適應氣候變化，通過預測性維護提高生產(chǎn)系統(tǒng)的效率，提高歐洲人的安全等等。同時，人工智能也帶來了一些潛在的風險，如決策不透明、性別歧視或其他形式的歧視、侵犯我們的私人生活或被用于犯罪目的。在2018年4月提出的歐洲人工智能戰(zhàn)略1的基礎上，需要采取一種更切實的途徑應對全球日趨激烈的競爭。為了應對人工智能的機遇和挑戰(zhàn)，歐盟必須根據(jù)歐洲價值觀一體行動，確定自己的方式，促進人工智能的發(fā)展和實施。歐盟委員會致力于實現(xiàn)科學突破，以保持歐盟的技術領先地位，確保新技術為所有歐洲人服務——提高他們的生活質(zhì)量，同時尊重他們的權利。委員會主席UrsulavonderLeyen在其政治指導方針2中提到了一種協(xié)調(diào)一致的歐洲方法——關于控制人工智能對人類和倫理意義，以及對更好地利用大數(shù)據(jù)進行創(chuàng)新的思考。因此，委員會支持一種以監(jiān)管和投資為導向的方法以實現(xiàn)雙重目標，一方面促進人工智能的普及，另一方面解決伴隨著這種新技術的使用而帶來的風險。本白皮書旨在就如何實現(xiàn)這些目標提出政策選擇，并不討論人工智能在軍事用途方面的發(fā)展和使用。委員會邀請成員國、其他歐洲機構和包含工業(yè)界、社會合作伙伴、民間社會組織、研究人員、公眾和任何有關團體在內(nèi)的所有利益相關者，對如下內(nèi)容進行了反饋，并繼續(xù)支持為委員會今后在這一領域的決策。||數(shù)據(jù)法盟PAGEPAGE10導言隨著數(shù)字技術成為人們生活中越來越核心的部分，人們應該能夠信任它。值得信賴也是數(shù)字技術獲得認可的一個先決條件。這對歐洲來說是一個機會，因為歐洲非常重視價值觀和法規(guī)要求，且具備為從航空到能源、汽車及醫(yī)療設備行業(yè)建設安全可靠的先進產(chǎn)品和服務的能力。歐洲當前和未來的可持續(xù)經(jīng)濟增長及社會福利越來越依賴數(shù)據(jù)創(chuàng)造的價值。人工智能是數(shù)據(jù)經(jīng)濟最重要的應用之一。如今，大多數(shù)數(shù)據(jù)都與消費者相關，并在集中的云基礎設施上進行存儲和處理。相比之下，未來更為豐富的數(shù)據(jù)中將有很大一部分來自工業(yè)、商業(yè)和公共領域，并存儲在各種系統(tǒng)上，尤其是在網(wǎng)絡邊緣工作的計算設備上。這為在工業(yè)和“企業(yè)至企業(yè)間”數(shù)字化方面具備優(yōu)勢地位，但在消費者平臺數(shù)字化上相對弱勢的歐洲帶來了新的機遇。簡而言之，人工智能是將數(shù)據(jù)、算法和計算能力結合起來的技術集合。因此，計算技術的進步和數(shù)據(jù)可用性的提高是當前人工智能熱潮的關鍵驅(qū)動力。歐洲可以將其技術和工業(yè)優(yōu)勢與高質(zhì)量的數(shù)字基礎設施，以及基于其基本價值的監(jiān)管框架結合起來，成為歐洲數(shù)據(jù)戰(zhàn)略中提及的“數(shù)據(jù)經(jīng)濟及其應用創(chuàng)新的全球領導者”3。在此使公民享受新的福利，例如改善醫(yī)療保健、減少家用機械故障、更安全清潔的交通系統(tǒng)、更優(yōu)質(zhì)的公共服務；促進商業(yè)發(fā)展，例如在歐洲的絕對優(yōu)勢行業(yè)（機械、交通、網(wǎng)絡安全、農(nóng)業(yè)、綠色及循環(huán)經(jīng)濟、醫(yī)療保健及時尚、旅游業(yè)等高附加值行業(yè)）；以及為公共利益服務，例如降低服務（交通、教育、能源和廢物管理）成本，提高產(chǎn)品可持續(xù)性4；在尊重公民權利和自由的情況下，為執(zhí)法機關配備適當工具、合理確保公民安全5。鑒于人工智能對我們社會的重大影響以及建立信任的必要性，歐洲人工智能必須立足于我們的價值觀和基本權利，如人的尊嚴和隱私保護。此外，人工智能系統(tǒng)的影響不僅應從個人的角度考慮，而且應從整個社會的角度進行考慮。人工智能系統(tǒng)的使用對實現(xiàn)可持續(xù)發(fā)展目標、支持民主進程和社會權利方面的影響舉足輕重。隨著最近歐洲綠色協(xié)議6的提出，歐洲在應對氣候和環(huán)境的挑戰(zhàn)方面處于領先位置。像人工智能這樣的數(shù)字技術是實現(xiàn)綠色協(xié)議目標的關鍵因素。由于人工智能越來越重要，人工智能系統(tǒng)對環(huán)境的影響需要在其整個生命周期和完整的供應鏈中得到適當考慮，例如在算法培訓和數(shù)據(jù)存儲方面的資源使用。為了達到足夠的規(guī)模，避免單一市場的分裂，歐洲對人工智能采取共同的做法是必要的。引入國家干預可能危及法律確定性，削弱公民信任，并抑制一個充滿活力的歐洲工業(yè)的出現(xiàn)。本白皮書在充分尊重歐盟公民價值和權利的情況下，提出了使人工智能在歐洲得以安全可靠發(fā)展的政策選擇。本白皮書的主要組成部分有：規(guī)定了在歐洲、各成員國和地區(qū)層面實施一致措施的政策框架。在私營企業(yè)和公共部門通力合作下，該框架的目標是通過調(diào)動資源實現(xiàn)基于價值鏈的“卓越生態(tài)系統(tǒng)”，著手于研究和創(chuàng)新，通過建立適當?shù)募顧C制加速包含中小企業(yè)在內(nèi)的人工智能解決方案的應用。未來歐洲人工智能監(jiān)管框架的關鍵要素為創(chuàng)造一個獨特的“可信賴生態(tài)系統(tǒng)”。為此，它必須確保遵守歐盟的規(guī)則，包括保護基本權利和消費者權利的規(guī)則，特別是那些在歐盟運行的高風險人工智能系統(tǒng)7。建立一個可信賴的生態(tài)系統(tǒng)本身就是其政策目標，同時應該使公民有信心接受人工智能的應用，讓公司和公共組織在法律上有把握利用人工智能進行創(chuàng)新。委員會強烈支持在“以人為中心的人工智能技術中構建信任的溝通函”8中提及的“以人為中心”的方法論，并將把人工智能高級專家組編寫的道德準則試點階段成果納入工作范圍。本白皮書所附的《歐洲數(shù)據(jù)戰(zhàn)略》旨在促使歐洲成為世界上最具吸引力、最安全、最充滿活力的數(shù)據(jù)敏捷經(jīng)濟體——為歐洲提供數(shù)據(jù)以改善決策、改善公民的生活。最后，本白皮書所附的委員會報告分析了人工智能、物聯(lián)網(wǎng)和其他數(shù)字技術對安全和責任立法的影響。利用工業(yè)和專業(yè)市場優(yōu)勢歐洲不僅可以作為人工智能的使用者，而且可以作為這項技術的創(chuàng)造者和生產(chǎn)者受益于AI的潛力。它擁有優(yōu)秀的研究中心、創(chuàng)新型初創(chuàng)企業(yè)，并在機器人技術、競爭性制造業(yè)和服務業(yè)（從汽車到醫(yī)療保健、能源、金融服務和農(nóng)業(yè)）領域處于世界領先地位。歐洲發(fā)展了強大的計算基礎設施（如高性能計算機），這對人工智能的功能至關重要。歐洲還擁有大量的公共和工業(yè)數(shù)據(jù)，其潛力目前尚未得到充分利用。它在安全可靠的低功耗數(shù)字系統(tǒng)方面具有公認的行業(yè)優(yōu)勢，這對人工智能的進一步發(fā)展至關重要。利用歐盟投資下一代技術和基礎設施的能力，以及含數(shù)據(jù)素養(yǎng)在內(nèi)的數(shù)字能力，將提高歐洲在數(shù)據(jù)經(jīng)濟關鍵扶持技術和基礎設施方面的技術主權。基礎設施應支撐歐7盡管可能需要作出進一步安排，以防止和打擊出于犯罪目的濫用人工智能，但這不在本白皮書討論范圍之內(nèi)。8COM(2019)168洲數(shù)據(jù)池的建立，以實現(xiàn)可信賴的人工智能，例如基于歐洲價值觀和規(guī)則的人工智能。歐洲應該利用自身的優(yōu)勢，擴大其在生態(tài)系統(tǒng)和價值鏈上的地位，從某些硬件制造部門到軟件，再到整個服務業(yè)。這種情況已經(jīng)在一定程度上出現(xiàn)。歐洲生產(chǎn)了全球超過四分之一的工業(yè)和專業(yè)服務機器人（例如，為精密農(nóng)業(yè)、安全、衛(wèi)生、物流并在為公司和組織開發(fā)及使用軟件應用程序（企業(yè)對企業(yè)的應用程序，如企業(yè)資源規(guī)劃，設計和工程軟件）、以及支持電子政務和“智能企業(yè)”的應用程序方面扮演重要角色。歐洲在制造業(yè)應用人工智能方面處于領先地位。超過半數(shù)的頂級制造商在其制造運營中實施了至少一種人工智能9。歐洲在研究方面處于優(yōu)勢地位的一個原因是，歐盟的資助方案已被證明有助于統(tǒng)籌行動、避免重復，并利用成員國的公共和私人投資。過去三年中，歐盟為人工智能研究和創(chuàng)新提供的資金已增至15億歐元，與前一時期相比增長了70%。然而，歐洲對研究和創(chuàng)新的投資扔進是世界其他地區(qū)公共和私人投資的一小部分。2016年，歐洲人工智能投資約32億歐元，相比之下，北美人工智能投資約121億歐元，亞洲人工智能投資約65億歐元10。相應的，歐洲仍需大幅提高投資水平。事實將表明，與成員國共同制定的人工智能協(xié)作計劃11是在歐洲建立更密切的人工智能合作、創(chuàng)造協(xié)同效應以最大程度優(yōu)化人工智能價值鏈投資的良好起點。抓住未來機遇：下一波數(shù)據(jù)浪潮盡管歐洲目前在消費者應用程序和在線平臺上的地位較弱，這在數(shù)據(jù)訪問方面造成了競爭劣勢，但跨領域的數(shù)據(jù)價值和重復使用所帶來的重大轉變正在發(fā)生。世界上9緊隨其后的是日本（30%）以及美國（28%）。源自：凱捷咨詢（2019）10人工智能和自動化時代歐洲的十大要務，麥肯錫（2017）11COM(2018)795產(chǎn)生的數(shù)據(jù)量正在迅速增長，從2018年的33澤字節(jié)增長到2025年的175澤字節(jié)12。每一次新的數(shù)據(jù)浪潮都給歐洲帶來了機遇，使其在數(shù)據(jù)敏捷經(jīng)濟中占據(jù)一席之地，并成為這一領域的世界領導者。此外，數(shù)據(jù)的存儲和處理方式在未來五年內(nèi)將發(fā)生巨大變化。如今，80%的數(shù)據(jù)處理和分析發(fā)生在云計算中的數(shù)據(jù)中心和集中計算設施中，20%發(fā)生在智能連接對象（如汽車、家用電器或制造機器人）以及靠近用戶的計算設施中（“邊緣計算”）。到2025年，這一比例將有顯著變化13。理器的關鍵。這個市場目前由非歐盟國家主導。在歐洲處理器計劃（EuropeanProcessorInitiative）和擬于2021年啟動的關鍵數(shù)字技術聯(lián)合項目（KeyDigitalTechnologyJointengineering）改善。歐洲在神經(jīng)形態(tài)解決方案14方面也處于領先地位，這種方案非常適合自動化工業(yè)過程（工業(yè)4.0）和運輸模式。它們可以提高能源效率幾個數(shù)量級。量子計算的最新進展將使處理能力呈指數(shù)級增長15。得益于量子計算方面的學術優(yōu)勢和在量子模擬器及編程環(huán)境方面的強大地位，歐洲可以走在這項技術的前沿。歐洲旨在增加量子測試和實驗設施可用性的倡議，將有助于將這些新的量子解決方案應用于一些工業(yè)和學術部門。同時，歐洲將立足于自身的科學卓越性，在人工智能算法的基礎上繼續(xù)引領進步。需要在當前獨立工作的學科之間建立橋梁，例如機器學習和深度學習（其特點為有限的可編譯性，需要大量數(shù)據(jù)來訓練模型并通過相關性進一步學習）和符號方法（其規(guī)則通過人工干預創(chuàng)建）。將符號推理與深層神經(jīng)網(wǎng)絡相結合可以幫助我們提高人工智能結果的可解釋性。12IDC(2019)13蓋特納（2017）14神經(jīng)形態(tài)的解決方案是指大規(guī)模的集成電路系統(tǒng)，以模擬神經(jīng)系統(tǒng)中神經(jīng)生物結構的形式進行連接。15量子計算機將有能力在不到秒的時間內(nèi)，處理比當今性能最高的計算機大很多倍的數(shù)據(jù)集，從而允許跨領域開發(fā)新的人工智能應用。卓越的生態(tài)系統(tǒng)為了建立一個卓越的生態(tài)系統(tǒng)，支持人工智能在整個歐盟經(jīng)濟和公共行政中的發(fā)展和吸收，需要在多個層面上加強行動。A、與會員國合作根據(jù)2018年4月通過的人工智能戰(zhàn)略16，歐盟委員會于2018年12月提出了一項與成員國共同制定的協(xié)同計劃，以促進人工智能在歐洲的發(fā)展和使用17。該計劃提出了約70項聯(lián)合行動項，以便成員國與委員會在諸如研究、投資、市場準入、技能和人才、數(shù)據(jù)和國際合作等關鍵領域開展更密切有效的合作。該計劃預計將持續(xù)到2027年，并定期進行監(jiān)控和審查。其目的是最大限度地發(fā)揮對研究、創(chuàng)新和部署的投資的影響，評估國家人工智能戰(zhàn)略，在此基礎上建立并向成員國擴展其人工智能協(xié)作計劃：行動1：委員會將根據(jù)公眾對白皮書內(nèi)容的征詢意見結果，向成員國提供一份修訂后的協(xié)作計劃，并期望其在2020年底前被采用。歐盟對人工智能領域的資金支持，應吸引并匯集一些領域投資，這是任何單一國家成員國無法實現(xiàn)的影響力目標是在未來十年內(nèi)，每年吸引歐盟內(nèi)超過200億歐元的人工智能投資18。為了刺激私人和公共投資，歐盟將從“數(shù)字歐洲計劃”、“地平線歐洲”以及“歐洲結構化及投資基金”中提供資源，以滿足欠發(fā)達地區(qū)和農(nóng)村地區(qū)的需求。協(xié)作計劃還將社會和環(huán)境福祉作為人工智能的一項關鍵原則。人工智能系統(tǒng)承諾幫助解決包括氣候變化、環(huán)境退化等在內(nèi)的、最緊迫的問題。同樣重要的是，這以一種環(huán)保的方式實現(xiàn)。人工智能能夠而且應該嚴格審查自身的資源使用和能源消耗情況，并接受培訓以便做出對環(huán)境有利的選擇。委員會將考慮各種辦法，來鼓勵和促進與成員國一道解決人工智能問題。B、關注研究與創(chuàng)新界的努力在當前分散的能力中心格局下，歐洲無法達到與全球領先機構競爭所需要的規(guī)模。尤為迫切的是，在多個歐洲人工智能研究中心之間形成更多協(xié)同和網(wǎng)絡，共同努力以創(chuàng)造卓越、留住和吸引優(yōu)秀的研究人員并開發(fā)最好的技術。歐洲需要一個集研究、創(chuàng)新和專業(yè)知識為一體的領先中心，吸引投資和該領域的最佳人才，成為人工智能領域的世界參考。這些中心和網(wǎng)絡應集中在歐洲有潛力成為全球引領者的領域，如工業(yè)、衛(wèi)生、運輸、金融、農(nóng)產(chǎn)品價值鏈、能源/環(huán)境、林業(yè)、地球觀測和宇航。在所有這些領域，爭奪全球領導地位的競爭仍在繼續(xù)，歐洲提供了巨大的潛力、知識和專長19。同樣重要的是創(chuàng)建測試和實驗站點，以支持新的人工智能應用的開發(fā)和后續(xù)部署。行動2：委員會將助力卓越，促進結合了歐洲、國家和私人投資的測試中心，可能包括一項新的法律工具。歐盟委員會提出了一項雄心勃勃的專項撥款，以支持建立“數(shù)字歐洲”計劃中所提及的世界領先測試中心的建立，并以“地平線歐洲”——委員會2021年至2027年多年財務框架的一部分——的研究和創(chuàng)新行動，作為輔助。C、技能人工智能的歐洲路徑應立足于對技能的高度重視，以填補能力短缺。20歐盟委員會不久將提出加強技能議程，旨在確保歐洲所有人都能從歐盟經(jīng)濟的綠色數(shù)字化轉型中受益。倡議還將包含對監(jiān)管部門的支持，以提高其人工智能技能，更優(yōu)質(zhì)高效地實施相應規(guī)則。最新的數(shù)字教育行動計劃將有助于更好地利用數(shù)據(jù)和基于人||數(shù)據(jù)法盟工智能的技術，如通過學習及預測分析改進教育和培訓系統(tǒng)，使其適應數(shù)字時代。該計劃還將在各級教育中提高對人工智能的意識，以幫助公民做好應對人工智能日益增加的影響的準備。構建在人工智能領域工作所需的技能，提升勞動力，使之適應人工智能引領的轉型，將是與成員國共同制定的、更新版人工智能協(xié)作計劃中的一個優(yōu)先事項。這可能包含將道德準則中的評估清單轉變?yōu)榕嘤枡C構資源，向人工智能開發(fā)者提供的指示性“課程”。應尤其致力于提高在這一領域接受培訓、就業(yè)的婦女人數(shù)。此外，歐洲人工智能研究及創(chuàng)新中心因其豐富的可能性，將吸引世界各地的人才，并在歐洲孕育、傳播其在此領域的卓越技能。行動3：通過建立和支持由頂尖大學和高等教育機構組成的歐洲數(shù)字計劃網(wǎng)絡的高新技術支柱，以吸引最好的教授和科學家，并在人工智能領域提供世界領先的碩士課程。除了提升技能外，工人和雇主還直接受到工作場所中人工智能系統(tǒng)的設計和使用的影響。社會伙伴的參與將是確保人工智能“以人為中心”進行工作的關鍵因素。D、關注中小企業(yè)心21和按需人工智能平臺22并促進中小企業(yè)之間的合作?！皵?shù)字歐洲計劃”（theDigitalEuropeProgramme）將有助于實現(xiàn)這一目標。在所有數(shù)字創(chuàng)新中心都應為中小企業(yè)提供支持，以幫助他們理解和應用人工智能的中小企業(yè)和初創(chuàng)企業(yè)將需要獲得融資，以便調(diào)整其流程或使用人工智能進行創(chuàng)新。在即將到來的針對人工智能和區(qū)塊鏈的1億歐元試點投資基金的基礎上，歐盟委員||數(shù)據(jù)法盟PAGEPAGE13會計劃根據(jù)歐洲投資計劃（InvestEU）23進一步擴大人工智能的融資渠道。在歐洲投資計劃確定的、可使用其資金的領域中明確提到了人工智能。行動4：委員會將與成員國合作，以確保每個成員國至少有一個在人工智能方面具有高度專業(yè)化的數(shù)字創(chuàng)新中心?！皵?shù)字歐洲計劃”為數(shù)字創(chuàng)新中心提供支持。歐洲委員會和歐洲投資基金將在2020年第一季度啟動1億歐元的試點計劃，為人工智能的創(chuàng)新發(fā)展提供股權融資。在就MFF達成最終協(xié)議之前，歐盟委員會擬從2021年起通過歐洲投資計劃大幅擴大該規(guī)模。E、與私營部門合伙確保私營部門充分參與制定研究及創(chuàng)新議程，并向其提供必要的共同投資水平也很重要。這要求建立廣泛的公私合作伙伴關系，并確保得到企業(yè)最高管理層的承諾。行動5：在“歐洲地平線”（HorizonEurope）的背景下，委員會將在人工智能、數(shù)據(jù)和機器人技術方面建立新的公私合作伙伴關系，形成合力，確保在人工智能研究與創(chuàng)新的協(xié)作，并與“歐洲地平線”項目中的其他公私伙伴關系通力合作，與上述測試機構和數(shù)字創(chuàng)新中心共同工作。F、推動公共領域應用人工智能關鍵的是，公共管理部門、醫(yī)院、公用事業(yè)和運輸服務、金融監(jiān)管機構以及其他公共利益領域迅速開始部署人工智能相關的產(chǎn)品和服務。應當尤其關注技術成熟且可大規(guī)模部署的醫(yī)療保健和運輸領域。行動6：委員會將發(fā)起公開透明的部門對話，優(yōu)先考慮醫(yī)療保健、農(nóng)村行政管理和公共服務運營商，以制定促進人工智能發(fā)展、試驗和應用的行動計劃。行業(yè)對話將用于準備特定的“應用人工智能計劃”（AdoptAIprogramme），以支持人工智能系統(tǒng)的公共采購，轉變公共采購流程。G、安全訪問數(shù)據(jù)和計算基礎設施本白皮書中提出的行動領域是對根據(jù)歐洲數(shù)據(jù)戰(zhàn)略并行提出的計劃的補充。改善數(shù)尚未生成的海量新數(shù)據(jù)為歐洲提供了立足于數(shù)據(jù)和人工智能轉型前沿的機會。推進相應數(shù)據(jù)管理實踐并促成數(shù)據(jù)的FAIR原則符合性，將有助于建立信任并確保數(shù)據(jù)的可重用性24。同樣重要的是對關鍵計算技術和基礎設施的投資。歐洲委員會已根據(jù)“數(shù)字歐洲計劃”提議投資40包括邊緣計算和人工智能、數(shù)據(jù)和云基礎設施。歐洲數(shù)據(jù)戰(zhàn)略將優(yōu)先實現(xiàn)這些領域的進一步發(fā)展。H、國際方面歐洲完全有能力發(fā)揮其全球領導作用，圍繞共同價值觀建立聯(lián)盟并促進人工智能應用合乎道德。歐盟在人工智能方面的工作已對國際討論產(chǎn)生影響。在制定道德準則時，高級專家組中引入了一系列的非歐盟組織和一些政府觀察員。與此同時，歐盟密切參與制定經(jīng)合組織關于人工智能的道德原則25。20國集團（G20）隨后在2019年6月關于貿(mào)易和數(shù)字經(jīng)濟的部長級聲明（MinisterialStatementonTradeandDigitalEconomy）中批準了這些原則。同時，歐盟注意到其他多邊論壇也正在開展有關人工智能的重要工作，包括歐洲委員會（CouncilofEurope）、聯(lián)合國教育科學與文化組織（UNESCO）、經(jīng)濟合作與發(fā)展組織（OECD）、世界貿(mào)易組織（WTO）和國際電信聯(lián)盟（ITU）。在聯(lián)合國，歐盟參與了數(shù)字合作高級別小組報告的后續(xù)行動，包含其對人工智能的推薦。歐盟將以符合歐盟規(guī)則和價值觀的方式（例如，促進更高的監(jiān)管趨同、訪問包括數(shù)據(jù)在內(nèi)的關鍵資源、創(chuàng)造公平的競爭環(huán)境），繼續(xù)與志同道合的國家及人工智能領域的全球參與者展開合作。委員會將密切監(jiān)測限制數(shù)據(jù)流量的第三國政策，并通過世界貿(mào)易組織場景下的行動解決雙邊貿(mào)易談判中的不當限制。委員會堅信，在人工智能事務上的國際合作方式必須基于促進尊重基本權利，包括人的尊嚴、多元化、包容、非歧視、保護隱私及個人數(shù)據(jù)26，委員會將致力于向全世界推廣其價值觀27。顯然，負責任地開發(fā)和使用人工智能可成為實現(xiàn)可持續(xù)發(fā)展目標和推進2030年議程的推動力。可信任的生態(tài)系統(tǒng)：人工智能的監(jiān)管框架與任何新技術一樣，人工智能的使用既帶來機遇也帶來風險。公民擔心因算法決策信息不對稱而無力捍衛(wèi)自己的權利和安全，企業(yè)擔心其法律上的不確定性。雖然人工智能可以幫助保護公民安全并使其享有基本權利，但公民也擔心人工智能后果無法預料，甚至可能用于惡意目的。這些問題需要被解決。此外，除了缺乏投資和技能外，缺乏信任也是阻礙人工智能廣泛應用的一個主要因素。這就是委員會在2018年4月25日制定人工智能戰(zhàn)略28來解決社會經(jīng)濟問題的原因，同時歐盟范圍內(nèi)也在提高對研究、創(chuàng)新和人工智能能力的投資。委員會與成員國制定了協(xié)作計劃29來調(diào)整戰(zhàn)略。委員會還成立了一個高級專家組，于2019年4月發(fā)布了有關可信賴人工智能的準則。30委員會發(fā)表了一份溝通函31，充分肯定了高級專家組準則中確定的七項關鍵要求：人事代理機構和監(jiān)管；技術魯棒性和安全性；隱私和數(shù)據(jù)治理；透明性；多樣性、非歧視性公平；社會和環(huán)境福祉；問責制。此外，本準則還包含了一份供企業(yè)實際使用的評估清單。在2019年下半年，超過350個組織對此評估清單進行了測試并發(fā)回反饋。高級專家組正在根據(jù)反饋意見修訂其準則，并將于2020年6月之前完成這項工作。反饋意見過程的主要成果是，盡管部分要求已反映在現(xiàn)行法律或法規(guī)中，但在許多經(jīng)濟領域的現(xiàn)行立法中并未明確涵蓋與透明性、可追溯性和人為監(jiān)管有關的制度。除了高級專家組定義的該組非約束性準則之外，根據(jù)總統(tǒng)的政治準則，明確的歐洲監(jiān)管框架將在消費者和企業(yè)之間建立對人工智能的信任，從而加快對技術的應用。該監(jiān)管框架應該與其他行動相一致，以提高歐洲在該領域的創(chuàng)新能力和競爭力。此外，必須確保在社會、環(huán)境和經(jīng)濟上達到最佳結果，并遵守歐盟法律、原則和價值觀。這在公民權利可能受到最直接影響的領域中尤其重要，例如執(zhí)法和司法領域中的人工智能應用。人工智能的開發(fā)者和部署者已受到歐洲有關基本權利的法律（非歧視）、消費者保護以及產(chǎn)品安全和責任規(guī)則的約束。不管是產(chǎn)品或系統(tǒng)，消費者都期望依賴人工智能達到相同水平的安全性以及權利尊重。但是，人工智能的某些特定功能（例如不透明性）會使該法規(guī)的應用和執(zhí)行更加困難。因此，有必要檢查當前的立法是否能夠解決人工智能的風險并能夠有效執(zhí)行，是否需要對立法進行修改，或者是否需要新的立法。在人工智能快速演變的情況下，監(jiān)管框架必須給將來的發(fā)展留有余地。任何更改都應限于明確已識別的問題且具有可行性解決方案。成員國指出目前缺乏共同的歐洲框架。德國數(shù)據(jù)道德委員會（TheGermanDataEthicsCommission）呼吁建立基于風險的五級監(jiān)管體系，從對最無害的人工智能系統(tǒng)的不設監(jiān)管，到對最危險的人工智能系統(tǒng)的完全禁止。丹麥剛落地了數(shù)據(jù)道德保證的模型。馬耳他也為人工智能引入了自愿認證體系。如果歐盟未能提供整個歐盟范圍內(nèi)的解決途徑，這將引致確定的內(nèi)部市場分裂風險，破壞信任、法律確定性和市場占有率的目標?？煽康臍W洲人工智能監(jiān)管框架將保護所有歐洲公民、幫助創(chuàng)建無摩擦的內(nèi)部市場，以進一步發(fā)展和推廣人工智能、加強歐洲人工智能的產(chǎn)業(yè)基礎。A、問題定義雖然人工智能可以做很多好事，包括使產(chǎn)品和處理更安全，但它也可能造成傷害。這個危害可能是物質(zhì)的（如個人安全和健康，包括失去生命，財產(chǎn)損害）和非物質(zhì)的（如隱私泄露，言論自由限制，人格尊嚴損害，就業(yè)歧視），也可能涉及到多種風險。監(jiān)管框架應集中于如何最大程度減少潛在危害的各種風險，尤其是特別重大的風險。與使用人工智能有關的主要風險涉及用來保護基本權利（包括個人數(shù)據(jù)、隱私保護和非歧視）的規(guī)則的應用、安全32和與責任相關的問題?；緳嗬媾R的風險，包括個人數(shù)據(jù)、隱私保護以及非歧視使用人工智能會影響為歐盟奠定基石的基本價值觀，并侵犯諸多基本權利33，包括殘疾、年齡或性取向而受到歧視的權利，個人數(shù)據(jù)和私人生活受保護的權利34，有效的司法救濟和公平審判，以及消費者受保護的權利。這些風險可能源于人工智能系統(tǒng)設計過程中就存在的缺陷（包括人為監(jiān)督)，或者來源于在不糾正可能存在的偏見的前提下使用數(shù)據(jù)（例如，該系統(tǒng)僅使用或主要來自男性的數(shù)據(jù)進行訓練，導致生成的與女性相關的結果不太理想)。人工智能可以執(zhí)行很多以前只能由人類完成的功能。因此，公民和法律實體將越來越多地受制于人工智能系統(tǒng)做出的或在其協(xié)助下做出的行動和決定，這些行動和決定有時可能難以理解，甚至在必要時難以有效挑戰(zhàn)。此外，人工智能增加了跟蹤和分析人們?nèi)粘Ａ晳T的可能性。例如，存在一種潛在風險，即在違反歐盟數(shù)據(jù)保護和其他規(guī)則的情況下，人工智能可能會被政府當局或其他實體用于大規(guī)模監(jiān)控，或被雇主用來觀察員工的舉止是否得體。通過分析大量數(shù)據(jù)并確定它們之間的聯(lián)系，人工智能還可能被用于回溯和去匿名化個人數(shù)據(jù)。即使數(shù)據(jù)集本身不包括個人數(shù)據(jù)，也會產(chǎn)生新的個人數(shù)據(jù)保護風險。人工智能也被在線中介用于為用戶排列被展示內(nèi)容的優(yōu)先順序，并執(zhí)行內(nèi)容審核。經(jīng)過處理的數(shù)據(jù)、應用程序的設計方式和人類干預的范圍都會影響自由表達、個人數(shù)據(jù)保護、隱私和政治自由的權利。某些人工智能算法在被用于預測刑事犯罪累犯的概率時，可能會引起性別和種族偏見，顯示出女性與男性、本國民眾與外國人的不同累犯預測概率。某些人工智能算法在被用于預測刑事犯罪累犯的概率時，可能會引起性別和種族偏見，顯示出女性與男性、本國民眾與外國人的不同累犯預測概率。資料來源：TolanS.，MronM.，GomezE.和CastilloC..“可能導致不公平：來自加泰羅尼亞青少年司法風險評估的證據(jù)”，國際最佳論文獎，2019年人工智能與法律會議。某些用于面部分析的人工智能應用顯示出對性別和種族偏差的分析結果，在確定淺色較淺的男性時誤差低，而在確定深色較深的女性時誤差高。資料來源：JoyBuolamwini，TimnitGebru；第一次公平、問題和透明會議論文集，PMLR81：77-91，2018年。偏見和歧視是任何社會或經(jīng)濟活動的固有風險。人類決策也不能避免產(chǎn)生錯誤和偏差。然而，同樣的偏差在人工智能中可能會產(chǎn)生更大影響，在規(guī)制人類行為的社會控制機制尚未建立之際影響和歧視許多人。35當人工智能系統(tǒng)在其運行中“學習”時，也可能發(fā)生這種情況。在此種設計階段無法預防或預測相應后果的情況下，風險不會來源于系統(tǒng)原始設計中的缺陷，而是產(chǎn)生于系統(tǒng)進行大量數(shù)據(jù)集訓練時，其所識別出來的關聯(lián)性或模式中帶來的實際影響。包含不透明性（黑盒效應）、復雜性、不可預測性和部分自主行為等在內(nèi)的諸多人工智能技術的特點，使得人們難以驗證其是否符合現(xiàn)行歐盟法律的規(guī)定，從而妨礙了這些規(guī)定在保護基本權利方面的有效執(zhí)行。執(zhí)法當局和受影響人士可能沒有途經(jīng)在受到這些決定可能帶來的負面影響的情況下，個人和法律實體在有效訴諸司法方面可能會面臨困難。安全風險和責任制度有效運作的風險當人工智能技術嵌入到產(chǎn)品和服務中時，可能會給用戶帶來新的安全風險。例如，由于物體識別技術的缺陷，自動駕駛汽車可能會錯誤識別道路上的物體，對人類造成人身傷害和物質(zhì)損失。與基本權利面臨的風險一樣，這些風險可能由人工智能設計缺陷造成，亦或與數(shù)據(jù)可用性和數(shù)據(jù)質(zhì)量有關，也可能與機器學習引發(fā)的其他問題有關。雖然其中一些風險并不局限于依賴人工智能的產(chǎn)品和服務，但人工智能的使用可能會增加或加劇風險。除了個人面臨相關風險外，缺乏應對此種風險的明確法律規(guī)定，可能會給在歐銷售即由于沒有明確授權采取行動，和（或）不具備適當?shù)募夹g能力檢驗系統(tǒng)，從而無法對此進行干預。36法律不確定性可能會導致整體安全水平降低，并削弱歐洲公司的競爭力。如果安全風險成為現(xiàn)實，由于缺乏明確要求和前述提及的人工智能技術特點，使得很難追認人工智能系統(tǒng)參與下做出的決定是具有潛在隱患的。相應地，這又可能使遭受損害的人很難依據(jù)現(xiàn)行歐盟和國家的責任立法獲得賠償。37（ProductLiabilityDirective品造成的損害負責。然而，在基于人工智能系統(tǒng)的產(chǎn)品，例如自動駕駛汽車的場景下，可能很難證明產(chǎn)品存在缺陷、已發(fā)生的損害以及兩者之間的因果關系。此外，如何以及在多大程度上將“產(chǎn)品責任指令”適用到不同類型的缺陷也存在一定的不確定性，例如，如果這些缺陷是由于產(chǎn)品的網(wǎng)絡安全漏洞造成的。因此，追認人工智能系統(tǒng)做出的決定有潛在問題是存在難度的，且上述與基本權利的風險同樣導致安全和責任相關的問題。遭受損害的個人可能無法有效地獲得法庭立案所需的證據(jù)，且與傳統(tǒng)技術造成損害的情況相比，可能無法那么有效地追償。隨著人工智能的使用越來越廣泛，這些風險將會增加。B、有關人工智能的歐盟現(xiàn)行立法框架可做出的調(diào)整大部分歐盟現(xiàn)行產(chǎn)品安全和責任立法38，包括由國家立法進一步完善具體行業(yè)規(guī)則，是與人工智能相關、可能適用于一些新興的人工智能應用。關于保護基本權利和消費者權利，歐盟有相應的立法框架包括種族平等指令RaceEqualityDirective）、雇傭及職業(yè)平等待遇指令40（theDirectiveonequaltreatmentinemploymentandoccupation）務方面男女平等待遇的指令41、大量的消費者保護規(guī)則42行業(yè)立法43，例如數(shù)據(jù)保護法律執(zhí)法指令（theDataProtectionLawEnforcementDirective）。而且自2025年伊始，《歐洲無障礙法案》中關于商品和服務的無障礙要求將會適用。44此外，當執(zhí)行其他領域的歐盟法規(guī)時，包括在金融服務、移居或者中介在線責任，都需要尊重基本權利。盡管無論人工智能的參與度如何，歐盟立法原則上仍然適用，但重要之處在于需評估法規(guī)能夠得到切實執(zhí)行以應對人工智能系統(tǒng)產(chǎn)生的風險，或者是否需要調(diào)整特定的法律文本。例如，經(jīng)濟運營者仍然要對人工智能是否遵守現(xiàn)行保護消費者的規(guī)則負全部責任，任何違背現(xiàn)行關于算法利用消費者軌跡的規(guī)則都是不被允許的，違反的話應受到相應懲罰。委員會認為可以改進立法框架，以處理下列風險和情形：有效應用和執(zhí)行現(xiàn)行歐盟和國家立法：人工智能的關鍵特性為確保現(xiàn)行歐盟和國家立法的合理應用和執(zhí)行帶來了挑戰(zhàn)。人工智能缺乏透明度（不透明性）使得識別和證明可能的違法行為變得困難，包括保護基本權利、責任歸屬和滿足索賠條件的法律條款。因此，為了確保有效的實施和執(zhí)行，可能有必要對特定領域的現(xiàn)行立法進行調(diào)整或說明，比如在本白皮書隨附報告中進一步詳細闡釋的責任問題。歐盟現(xiàn)行立法的范圍限制：歐盟產(chǎn)品安全立法的一個重要關注點是產(chǎn)品的市場定位。在歐盟產(chǎn)品安全立法中，當軟件是最終產(chǎn)品的組成部分時，必須遵守相關的產(chǎn)品安全規(guī)則，獨立軟件是否受歐盟產(chǎn)品安全立法管理是一個公開的問題，雖然在一些行業(yè)有明確的規(guī)定。45歐盟現(xiàn)行的一般安全法規(guī)適用于產(chǎn)品而非服務，因此原則上也不適用于基于人工智能技術的服務（例如衛(wèi)生服務、金融服務、交通服務）。改變?nèi)斯ぶ悄芟到y(tǒng)的功能：將包括人工智能技術在內(nèi)的軟件集成到產(chǎn)品中，可以在產(chǎn)品和系統(tǒng)的生命周期中更新其功能。這對于需要頻繁升級軟件或依賴機器學習的系統(tǒng)更是如此。這些特點會產(chǎn)生新的風險，這些風險在系統(tǒng)上市時尚不存在。而現(xiàn)行立法主要關注產(chǎn)品上市時是否存在安全風險，并沒有充分提及、解決這些新生風險的問題。供應鏈中不同經(jīng)濟運營者之間責任分配的不確定性：通常，歐盟產(chǎn)品安全立法將責任分配給市場上產(chǎn)品及其所有組件的生產(chǎn)者，例如人工智能系統(tǒng)。但如果人工智能技術是由其生產(chǎn)者之外的一方在產(chǎn)品上市后增加進產(chǎn)品中的，那這些規(guī)定可能會變得不甚明確。此外，歐盟產(chǎn)品責任立法規(guī)定了生產(chǎn)者的責任，卻將供應鏈中其他主體的責任交由國家管理。安全概念的變化：在產(chǎn)品和服務中使用人工智能技術可能會產(chǎn)生歐盟立法目前沒有明確提及的風險。這些風險可能與網(wǎng)絡威脅、個人安全風險（涉及人工智能新應用，例如家用智能電器）、連接中斷導致的風險等有關。這些風險可能在產(chǎn)品上市時出現(xiàn)，或者在使用產(chǎn)品時因軟件更新或進行自我學習（self-learning）而出現(xiàn)。歐盟應充分利用其所掌握的工具，加強其對與人工智能應用相關潛在風險的證據(jù)基礎，包括利用歐洲網(wǎng)絡與信息安全局（ENISA）的經(jīng)驗評估人工智能潛在威脅。如之前指出的，一些成員國早已開始探索其國內(nèi)立法的可行性來應對人工智能帶來的挑戰(zhàn)。這也帶來了單一市場分散的風險。不同國家的法規(guī)很可能會限制那些想到單一市場銷售和運營人工智能系統(tǒng)的公司。從歐盟層面統(tǒng)一使用一個共同的方法，將有助于歐洲公司順利進入單一市場，并支持他們在全球市場中增加競爭力。有關人工智能，物聯(lián)網(wǎng)和機器人安全和責任影響方面的報告隨附在白皮書的報告分析了相關的法律框架，指出了將此框架應用于解決人工智能系統(tǒng)和其他數(shù)字科技方面所帶來的特定風險的不確定性。它總結得出目前的產(chǎn)品安全立法已經(jīng)提供了擴展的安全保護的概念，以應對來自產(chǎn)品使用的風險。同時，那些明確涵蓋新興數(shù)字科技所帶來的新風險的條款，也能被引用，以提供更多的法律確定性。一些人工智能系統(tǒng)在其生命周期內(nèi)的自主行為可能導致對安全有影響的重要產(chǎn)品變更，并可能需要進行新的風險評估。此外，也需要人類對人工智能產(chǎn)品及系統(tǒng)從設計、并貫穿其生命周期實施監(jiān)管，保障安全。適當情況下，生產(chǎn)者對于用戶精神安全風險的明確責任也應被考慮進去。歐盟產(chǎn)品安全立法能夠規(guī)定在設計階段解決使用錯誤數(shù)據(jù)導致的安全風險的具體要求，以及確保人工智能產(chǎn)品和系統(tǒng)使用過程中數(shù)據(jù)質(zhì)量的機制。有關算法系統(tǒng)的不透明性可以通過要求透明度來解決。一個單獨的軟件投放到市場，或在上市后被下載到一個產(chǎn)品中，此情形下，如果其影響安全，現(xiàn)行的規(guī)則可能需要被調(diào)整和說明。隨著新技術使用導致供應鏈變得日益復雜，特別要求供應鏈上的經(jīng)濟運營者和用戶之間能夠協(xié)作的法律條款例可以提供法律確定性。像人工智能、物聯(lián)網(wǎng)和機器人之類的新興數(shù)字科技，其特性可能會挑戰(zhàn)責任框架的某些方面，并降低其有效性。由于其中一些特性很難把過失歸咎到個人身上，而這在大多數(shù)國家中基于過失的索賠是必須的。這就導致了受害者的成本大大增加，也意味著除了生產(chǎn)者以外的責任追究更難提出和證明。人類因人工智能系統(tǒng)使用而遭受的損害也應該和被其他技術造成的損害一樣受到同等保護，同時也應允許技術革新繼續(xù)發(fā)展。所有確保這一目的的選擇都應該被謹慎評估，包括可能修訂產(chǎn)品責任指示和可能進一步針對國家責任規(guī)則的趨同化。譬如，委員會正在征求意見，是否以及應在多大程度上調(diào)整國家責任規(guī)則要求的、由人工智能應用所造成的損失舉證責任，來減輕舉證復雜性。根據(jù)以上討論，委員會得出結論，除了對于現(xiàn)行立法可能進行的調(diào)整外，還可能需要新增一個針對人工智能的立法來使得歐盟法律框架適用于當前及可預見的科技和商業(yè)的發(fā)展。C、未來歐盟監(jiān)管框架的范圍對于將來的人工智能監(jiān)管框架而言，關鍵之處在于確定它的應用范圍?？尚械脑O想是它將適用于依賴人工智能的產(chǎn)品和服務。人工智能因此應在本白皮書的目的及未來可能的政策制定參考中被清晰的定義。在對歐洲有關人工智能的溝通函中，委員會首次定義了人工智能46。高級專家組47對這個定義又進行了完善。在任何新的法律文書中，人工智能的定義應在足夠精準、滿足法律確定性需要的同時，還要足夠靈活以適應科技發(fā)展。，生的即時數(shù)據(jù)（如車速、引擎消耗、減震器等），生的即時數(shù)據(jù)（如車速、引擎消耗、減震器等）（如路況、信號燈、其他車輛、行人等）決定車輛到達指定目的地應采取的駕駛方駕駛員的行為來得出最舒服、安全的駕駛。46COM(2018)237最終版，第1—來達到特定的目的，從而展示智能行為的系統(tǒng)。基于人工智能的系統(tǒng)可以是純軟件基礎，在虛擬世界中展示（如，語音提示，圖像分析軟件，搜索引擎，語音和人臉識別系統(tǒng)）或是集成在硬件設備中的人工智能（如，高級機器人，自動駕駛汽車，無人機或是物聯(lián)網(wǎng)的應用等）。47高級專家組在人工智能定義一書的第8頁中提及：“人工智能系統(tǒng)是人類設計的軟件（也可能是硬件）系統(tǒng)，在給定一個復雜目標的情況下，通過獲取數(shù)據(jù)而感知周圍的環(huán)境，解讀收集到的結構或者非結構化的數(shù)據(jù)，推理知識，或者處理從數(shù)據(jù)中得出的信息，從而在在物理或者數(shù)字維度行動，并確認最佳的行動來達到特定目的。人工智能系統(tǒng)既可以使用象征性的規(guī)則，也可以學習數(shù)字化模型，同時它們也可以通過分析環(huán)境如何受他們以前的行為的影響來對自身行為進行調(diào)整。系統(tǒng)來對其進行優(yōu)化。歐盟有嚴格的法律框架來確保對消費者的特別保護，以消除不公平的商業(yè)行為并保護個人數(shù)據(jù)和隱私。此外，這些法律還包括了對于特定行業(yè)（如：健康，運輸）的特別規(guī)則。這些現(xiàn)行的歐盟法律條款仍將繼續(xù)適用于人工智能，盡管可能有必要對這些框架進行更新以反映數(shù)字化轉型和人工智能的使用（參見章節(jié)B）。因此，此框架仍將繼續(xù)監(jiān)管那些目前已經(jīng)被現(xiàn)行橫向或部門內(nèi)立法涉及的方面（如：醫(yī)療設備48，運輸系統(tǒng)）。原則上，針對人工智能的新的監(jiān)管框架應該更有效地達到其監(jiān)管目的，而不應增加過度的指令造成不合理的負擔，尤其是對中小企業(yè)。為了實現(xiàn)這樣的平衡，委員會認為應該采取基于風險的方法。49的問題。對高風險人工智能應用的判定應是清晰、易理解且對相關各方適用的。然而，盡管有的人工智能應用不被認為有高風險，它仍會受到現(xiàn)行歐盟法則的約束。委員會認為應將特定的人工智能應用視為是高風險的，同時考慮其所應用的行業(yè)和預期用途是否牽涉重大風險，尤其應從安全保護、消費者權利和基本權利的角度出發(fā)。更確切地說，如果一個人工智能應用同時滿足以下兩個的判斷標準，那它就應該被認為認為是高風險的：首先，結合某行業(yè)的典型活動的特點，人工智能應用在該行業(yè)中使用時極有可能引發(fā)重大風險。這個判斷標準為了確保監(jiān)管的介入是針對那些大概率會發(fā)生風險的特定領域。被涵蓋的行業(yè)應該在新的監(jiān)管框架中被具體、詳盡地列出。例如，健康、運輸、能源和公共行業(yè)的多個部分。50此清單48舉例來說，對于人工智能系統(tǒng)向醫(yī)師提供的特別的醫(yī)療信息，人工智能系統(tǒng)直接提供給患者的醫(yī)療信息和人工智能系統(tǒng)自行執(zhí)行的對患者的醫(yī)療任務，有很多不同的安全考量和法律提示。委員會在逐一檢查這些不同于健康的安全性和責任問題。49歐盟立法會對在這里提到的“風險”根據(jù)不同方面進行分類，譬如，產(chǎn)品安全。50公共行業(yè)包括救濟所、移民局、邊境防控和法院、社會安全以及就業(yè)服務等。||數(shù)據(jù)法盟PAGEPAGE26應被定期審閱，并根據(jù)實踐的相關發(fā)展進行及時修正。其次，在有爭議的行業(yè)使用人工智能應用有可能會增加重大風險。這個標準反映出并非在特定行業(yè)中使用人工智能應用就都隱含了高風險。比如，健康行業(yè)可以被認為是存在這種情況的行業(yè)，但醫(yī)院預約系統(tǒng)的缺陷并不會造成需要法律介入的重大風險。對人工智能應用在既定使用場景下的風險等級的評估應基于相關各方所受到影響的程度。例如，因人工智能應用的使用，給個人或公司造成了法律上的或類似的重大影響；造成傷亡或重大物質(zhì)或非物質(zhì)損失的風險；對個人或法律實體造成不可避免的影響。這兩個累計標準的使用能夠確保監(jiān)管框架范圍的針對性，并提供了法律的確定性。原則上，新的人工智能監(jiān)管框架所包含的強制性要求應僅適用于符合上述兩條累計標準定義的高風險應用。盡管有上述規(guī)定，但也可能出現(xiàn)一些例外情況，例如由于風險的存在，為某些特定目的使用人工智能應用仍會被視為是高風險的，且適用51如下規(guī)定，而與其所應用于的行業(yè)是否受關注無關。作為說明，可以特別考慮以下內(nèi)容：鑒于其對個人及解決歐洲平等就業(yè)問題的重要性，在招聘過程及影響勞工權益的情形下時下使用人工智能應用應始終被認為是“高風險”的。因此，下文中的要求應將始終適用。還可考慮影響消費者權益的其他具體應用場景。出于遠程生物識別52（remotebiometricidentification）及其它侵入式監(jiān)控技術的目的而使用人工智能應用，應始終被認為是“高風險”的。因此，下文中的要求應將始終適用。51尤其應該強調(diào)的是，其他歐盟法律在此處仍可能適用。例如，當包括消費品時，《一般商品安全指令》能適用于人工智能應用的安全性。52遠程生物識別應與生物特征認證相區(qū)別（后者是基于單一個體獨特的生物特征的一種安全程序，用以保證某人即其所稱）。遠程生物識別是在生物識別標識（指紋、面部圖像、虹膜、血管性狀等）的幫助下，通過遠程、公共空間和連續(xù)或持續(xù)的方式，將多重主體身份與數(shù)據(jù)庫中存儲的數(shù)據(jù)進行核驗。D、要求的類型在設計未來的人工智能監(jiān)管框架時，有必要確定針對相關參與者的強制性法律要求的類型。這些要求可通過標準進一步明確。如上文章節(jié)C所述，除現(xiàn)行立法外，這些要求將僅適用于高風險的人工智能應用，從而確保所有監(jiān)管干預措施的針對性和適當性?？紤]到高級專家組的指導方針以及上文所述，對高風險人工智能應用的要求可能包含如下幾項關鍵特點，后續(xù)各小節(jié)將分點進行詳細討論：訓練數(shù)據(jù)；數(shù)據(jù)及記錄保存；所提供的信息；魯棒性及準確性；人類監(jiān)督；為某些特定人工智能應用所設立的具體要求，如那些以遠程生物識別為目的人工智能應用。為確保法律確定性，這些要求將被進一步詳細說明，為所有需照此執(zhí)行的參與者提供一個明確的基準。訓練數(shù)據(jù)促進、加強和捍衛(wèi)歐盟價值觀及規(guī)則，尤其是公民從歐盟法律中獲得的權利，這比以往任何時候都更重要。這些努力也將毫無疑問地延伸適用于那些正考慮在歐盟市場上銷售和使用的高風險人工智能應用上。如前所述，沒有數(shù)據(jù)就沒有人工智能。許多人工智能系統(tǒng)的功能以及它們可能導致的行動和決策在很大程度上取決于對系統(tǒng)進行訓練的數(shù)據(jù)集。因此，應采取必要的措施，確保在用于訓練人工智能系統(tǒng)的數(shù)據(jù)能夠符合歐盟的價值觀和規(guī)則，特別是與安全性和保護基本權利的現(xiàn)行立法規(guī)則相關聯(lián)時。如下是有關用于訓練人工智能系統(tǒng)的數(shù)據(jù)集的要求：要求旨在合理保證人工智能系統(tǒng)支持的產(chǎn)品或服務的后續(xù)使用安全，基于此，它應滿足歐盟安全規(guī)則（現(xiàn)行及可能的補充規(guī)則）中適用的一系列標準。例如，要求確保人工智能系統(tǒng)接受足夠廣泛的、涵蓋了所有相關場景以避免危險情況的數(shù)據(jù)集培訓。采取合理措施的要求旨在確保人工智能系統(tǒng)在后續(xù)使用中不會產(chǎn)生禁止的歧視結果。這些要求可能需要在特定的義務下使用具有足夠代表性的數(shù)據(jù)的所有相關維度；要求旨在確保使用基于人工智能的產(chǎn)品和服務的期間，充分保護隱私和個人數(shù)據(jù)?！锻ㄓ脭?shù)據(jù)保護條例》和《執(zhí)法指令》就屬于其各自范圍內(nèi)的問題進行了規(guī)定。保留記錄和數(shù)據(jù)考慮到許多人工智能系統(tǒng)的復雜性和不透明性等因素，以及在有效核實相關適用規(guī)則符合性和執(zhí)行方面存在困難，因此要求對與算法編程、及用于訓練高風險人工智能系統(tǒng)的數(shù)據(jù)有關的記錄進行保留，在某些情況下，還需保留數(shù)據(jù)本身。這些要求基本上可以支持追溯和驗證人工智能系統(tǒng)的有問題的操作或決策。這不僅有利于監(jiān)督和執(zhí)行，而且也可能激勵相關經(jīng)濟運營者，使他們在早期階段就考慮到尊重這些規(guī)則的必要性。為此目的，監(jiān)管框架可以要求對如下內(nèi)容進行保存：有關用于訓練、測試人工智能系統(tǒng)的數(shù)據(jù)集的準確記錄，包括對主要特征的描述及如何選擇數(shù)據(jù)集；在某些合理情況下，數(shù)據(jù)集本身；有關編程53和訓練方法，構建、測試和驗證人工智能系統(tǒng)的過程和技術等的記錄文件，包括在安全性和避免可能導致禁止性歧視的偏差的相關信息。記錄、文件和相關數(shù)據(jù)集應在有限的合理期間內(nèi)進行保存，以確保有效執(zhí)行相關法律。應采取措施確保對應記錄及資料在需要時及時可用，尤其在監(jiān)管當局進行測試或檢查時。必要時，應做出安排以確保機密信息（例如商業(yè)秘密）受到保護。信息提供除上文章節(jié)C中討論的記錄保存要求外，透明度也是必不可少的。為了實現(xiàn)既定目標，尤其為促進人工智能的負責任使用、建立信任并在需要時方便救濟，主動提供高風險人工智能系統(tǒng)使用的充分信息至關緊要。相應地，應考慮如下要求：確保提供清晰的信息，說明人工智能系統(tǒng)的功能和局限性，特別是系統(tǒng)的預期用途、按預期運行所需的條件，以及實現(xiàn)該用途的預期精準度。這些信息對系統(tǒng)部署者尤其重要，但也可能與監(jiān)管部門和受影響的各方相關。另外，應明確告知公民與其互動的是人工智能系統(tǒng)而非人類。盡管歐盟數(shù)據(jù)保護法規(guī)已經(jīng)包含某些此類規(guī)則54，但仍可能需要其他附加要求以實現(xiàn)上述目標。即便如此，仍應避免增加不必要的負擔。因此，存在例外情況無需提供此類信息，例如在公民能很快意識到與他們互動的是人工智能系統(tǒng)的情況下，無需告知。更為重要的是，提供的信息必須客觀、簡明且易理解。提供信息的方式應根據(jù)特定的場景進行調(diào)整。魯棒性和準確性53例如，包括模型應優(yōu)化的內(nèi)容，針對某些參數(shù)起初設計權重等在內(nèi)的算法文檔。54特別是，根據(jù)《通用數(shù)據(jù)保護條例》（GDPR）第13（2）（f）條的規(guī)定，控制者必須在獲取個人數(shù)據(jù)時向數(shù)據(jù)主體提供必要的進一步信息，以確保對自動決策的存在以及某些其他附加信息進行公平和透明的處理。人工智能系統(tǒng)——包含高風險人工智能應用在內(nèi)——必須具備技術上的魯棒性和準確性，才值得信賴。這意味著這些系統(tǒng)應以負責任的方式開發(fā)，并預先適當考慮其可能產(chǎn)生的風險。它們的開發(fā)和功能設計必須可以確保人工智能系統(tǒng)按照預期可靠運行。應采取合理措施最大程度降低可能造成損害的風險。相應地，應考慮以下幾方面：要求確保人工智能系統(tǒng)在其生命周期的所有階段都具有魯棒性和準確性，或至少正確反映了它們的準確性程度；確保結果可復現(xiàn)；要求確保人工智能系統(tǒng)能夠在其生命周期的所有階段均能充分處理錯誤或不一致性。要求確保人工智能系統(tǒng)能夠抵御公開攻擊和更隱蔽的數(shù)據(jù)或算法操縱企圖，并在這種情況下采取緩解措施。人類監(jiān)督人類的監(jiān)督有助于確保人工智能系統(tǒng)不會違背人類自主性或造成其他不利影響。只有通過人類對高風險人工智能應用的適當管理，才能實現(xiàn)可信賴的、合乎倫理的和“以人為中心”的人工智能的目標。盡管本白皮書中基于特定法律制度的人工智能應用被認為是高風險的，但需要進行人類監(jiān)督的適當類型及程度因情況而異。這尤其取決于系統(tǒng)的預期用途以及該用途對受影響的公民和法人實體可能產(chǎn)生的影響。當人工智能系統(tǒng)在處理個人數(shù)據(jù)時，亦不得損害《通用數(shù)據(jù)保護條例》（GDPR）所確立的合法權利。例如，人類監(jiān)督可能具有以下尚未詳盡羅列的表現(xiàn)形式：除非事先經(jīng)過人工審核和驗證確認，人工智能系統(tǒng)的輸出將不會生效（例如，拒絕社會保障福利申請的決定只能由人類做出）；人工智能系統(tǒng)的輸出立即生效，但其后必須進行人工干預。（例如，信用卡申請被拒可能由人工智能系統(tǒng)處理，但之后必須進行人工審核）；監(jiān)控人工智能系統(tǒng)的運行，且人類有能力實時干預、并使其失效（例如，在無人駕駛模式中，當人類認為汽車運行不安全時，可以使用停止按鈕或操作程序）；在設計階段，對人工智能系統(tǒng)施加操作限制（例如，當感應器不那么可靠時，無人駕駛模式應停止在某些能見度較低的條件下運行，或在任何情況下與前保持一定距離）。遠程生物識別的具體要求諸如通過在公共場所部署人臉識別系統(tǒng)等，為了遠程識別55而收集和使用生物特征數(shù)據(jù)56會給基本權利57帶來特定的風險。根據(jù)使用目的、環(huán)境和范圍的不同，使用遠程生物識別人工智能系統(tǒng)對基本權利的影響可能會有很大差異。特定條件下除外58。具體而言，根據(jù)GDPR該處理只能基于有限的理由，其中主要理55在人臉識別方面，識別是指將一個人的面部圖像的模板與數(shù)據(jù)庫中存儲的許多其他模板進行比較，以查明他或她的圖像是否存儲在數(shù)據(jù)庫中。另一方面，身份驗證（或驗證)通常被稱為一對一匹配。它可以比較兩個通常被假定屬于同一個個體的生物特征模板。兩個生物特征模板進行比較，以確定兩個圖像上顯示的人是否是同一個人。例如，這種程序在機場邊界檢查的自動邊境控制（ABC）登機口處使用。56生物特征數(shù)據(jù)被定義為“有關自然人的身體、生理或行為特征的特定技術處理所產(chǎn)生的個人數(shù)據(jù)，允許或確認該自然人的唯一認證或身份證明，如面部圖像或指印[指紋]數(shù)據(jù)。（執(zhí)法指令，第3（13）條；通用數(shù)據(jù)保護條例（GDPR），第4（14）條；條例（EU）2018/1725，第3（18）條。57例如，關于人的尊嚴。與此相關的是，在使用面部識別技術時，尊重私人生活和保護個人數(shù)據(jù)的權利是基本權利關注的核心。對兒童、老年人和殘疾人等特殊群體的非歧視和權利也有潛在的影響。此外，言論、結社和集會的自由不應因使用技術而受到損害。參見：人臉識別技術：執(zhí)法中的基本權利考量，https：//fra.europa.eu/en/publication/2019/facial-recognition。58GDPR第9條，第10條執(zhí)法指令。另請參見第10條法規(guī)（EU）2018/1725（適用于歐盟機構和組織）。稱性要求、尊重數(shù)據(jù)保護權的實質(zhì)并采取適當?shù)谋Ｕ洗胧?。根?jù)《執(zhí)法指令》須嚴格執(zhí)行該處理，原則上應獲得歐盟或國家法律的授權并采取適當保障措施。由于為單純識別自然人而進行的任何生物識別信息的處理可能與歐盟法律中一項禁止條款的例外情形有關，因此這種情況仍受到歐盟《基本權利憲章》的約束。因此，根據(jù)當前的歐盟數(shù)據(jù)保護規(guī)則和《基本權利憲章》，只有在用途合理、目的相稱且保障充分的情況下，才可將人工智能用于遠程生物識別。為解決在公共場所使用人工智能可能產(chǎn)生的社會關注、避免內(nèi)部市場分歧，委員會將在歐洲就合理使用人工智能的具體情況（如有）E、接受者關于適用上述高風險人工智能應用相關的法律要求的管理接受者，應考慮兩個主要問題。首先，如何在相關經(jīng)濟運營者之間分配責任。諸多角色參與在人工智能系統(tǒng)的生命周期中，包括開發(fā)者、使用人（使用配備了人工智能技術的產(chǎn)品或服務的人員）以及潛在人員（生產(chǎn)商、分銷商或進口商、服務提供商、專業(yè)或私人用戶）。委員會認為，在未來的監(jiān)管框架中，每項責任都應由最有能力應對對應潛在風險的角色承擔。例如，人工智能的開發(fā)者可能最適合解決開發(fā)階段所產(chǎn)生的風險，而他們在使用階段控制風險的能力可能會受到更大限制，所以在使用場景下使用人應該承擔相關責任。這并不妨礙承擔對最終用戶的責任，或在遭受損害的他方訴諸司法時確定哪一方應對損害承擔責任。根據(jù)歐盟產(chǎn)品責任法，由生產(chǎn)者承擔缺陷產(chǎn)品的責任，但不影響國家法律規(guī)定允許向他方追償。其次，存在立法干預的地域問題。委員會認為，最重要的是將該要求適用于在歐盟境內(nèi)提供基于人工智能技術的產(chǎn)品或服務的所有經(jīng)濟運營者，無論其是否在歐盟境內(nèi)設立。否則，就不能完全實現(xiàn)上述提及的立法干預的目的。F、合規(guī)與執(zhí)法為了確保人工智能可信、安全且遵守歐洲的價值觀和規(guī)則，必須在實踐中遵守適用的法律規(guī)定，并由國家和歐洲主管部門以及相關方有效執(zhí)行。主管部門應有權調(diào)查個別案件，并相應評估其社會影響。鑒于一些人工智能應用會對公民和我們的社會造成高風險（參見上文章節(jié)A），委員會認為在此階段有必要進行客觀的事前合規(guī)評估，以驗證和確保高風險應用程序（參見上文章節(jié)D）符合上述某些適用的強制性要求。事前合規(guī)評估可能包括測試、檢查或認證的程序59?？赡馨z查開發(fā)階段使用的算法和數(shù)據(jù)集。針對高風險人工智能應用的合規(guī)評估應成為歐盟內(nèi)部市場現(xiàn)有的諸多產(chǎn)品合規(guī)評估機制的一部分。若沒有現(xiàn)成機制，可借鑒最佳實踐、利益相關方和歐洲標準組織的相關輸出以建立類似的機制。此類新機制應遵循國際義務，如相稱、非歧視、使用透明及標準客觀?；谑虑昂弦?guī)評估進行系統(tǒng)設計和實施時，應特別注意以下幾點：并非以上概述的所有要求均適合通過事前合規(guī)評估進行驗證。例如，要求提供信息通常不適合通過此類評估進行驗證。應特別考慮某些人工智能系統(tǒng)進化發(fā)展并從經(jīng)驗中學習的可能性，可能需要在該人工智能系統(tǒng)的整個生命周期中反復進行評估。需要驗證用于訓練的數(shù)據(jù)，以及用于構建、測試和驗證人工智能系統(tǒng)的相關編程、訓練方法、過程和技術。若合規(guī)評估表明