揭開(kāi)人工智能在交通網(wǎng)絡(luò)安全中的神秘面紗（中文）

ujonson@SERJON，LLC信息技術(shù)和網(wǎng)絡(luò)安全服務(wù)高級(jí)副總裁美國(guó)聯(lián)邦調(diào)查局運(yùn)輸主題專家聯(lián)邦調(diào)查局汽車行業(yè)特定工作組（SSWG）網(wǎng)絡(luò)卡車挑戰(zhàn)賽（CyberTruckChallenge）項(xiàng)目委員會(huì)，ESCARUSASAE車輛電氣系統(tǒng)安全委員會(huì)成員技術(shù)維護(hù)委員會(huì)（TMC）S.5和S.12研究小組成員超過(guò)35年的IT和網(wǎng)絡(luò)安全經(jīng)驗(yàn)，包括戰(zhàn)略規(guī)劃，評(píng)估，項(xiàng)目管理和計(jì)劃管理各種關(guān)于黑客的論文、講座和研究，以及一般的卡車和運(yùn)輸辯護(hù)1980年代以來(lái)的濫用和維護(hù)制度?AI常見(jiàn)錯(cuò)誤?運(yùn)輸應(yīng)用AI概覽歷史回顧?20世紀(jì)50年代-AI?1960年代-早期應(yīng)用?20世紀(jì)80年代-專家系統(tǒng)?20世紀(jì)90年代-機(jī)器學(xué)習(xí)的復(fù)興的歷史回顧?2000年代-大數(shù)據(jù)?2010年代-深度學(xué)習(xí)占主導(dǎo)地位?21世紀(jì)20年代-生成型人工智能技術(shù)概述機(jī)器學(xué)習(xí)應(yīng)用圖片：/science/article/pii/S0951832021003835用人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的核心部件是人工神經(jīng)元從概念上可以認(rèn)為是一個(gè)迷你線性回歸模型訓(xùn)練方法圖片：/science/article/pii/S0951832021003835模型訓(xùn)練簡(jiǎn)單監(jiān)督學(xué)習(xí)通常通過(guò)將圖像展平為矢量AI分類學(xué)NISTAI使用分類*：?將復(fù)雜的人工智能任務(wù)分解為獨(dú)立于技術(shù)的活動(dòng)（例如，神經(jīng)網(wǎng)絡(luò)、大語(yǔ)言模型、強(qiáng)化學(xué)習(xí)）和領(lǐng)域（例如，金融、醫(yī)?提供了一種靈活的方法來(lái)分類AI系統(tǒng)對(duì)指定人類AI任務(wù)?旨在成為一份動(dòng)態(tài)文檔，定期更新利益相關(guān)者的反饋，例如人工智能評(píng)估和人為因素社區(qū)的反饋。NISTAI200-1，AIUseTaxonomy：AHuman-CenteredApproach，作者Theofanos、Choong和Jenson，2024年3月，/10.6028/NIST.AI.200-1。AI分類學(xué)-運(yùn)輸?基于神經(jīng)網(wǎng)絡(luò)的連接主義?貝葉斯-基于概率的推理系統(tǒng)?Symbolists-基于邏輯的算法，如基于規(guī)則的編程，決策樹(shù)，模糊邏輯和理性代理?類比器-基于相似性的分類器，如支持向量機(jī)?優(yōu)化-執(zhí)行迭代更新和比較以發(fā)現(xiàn)最佳解決方案的算法，例如遺傳算法（GA）JonPerez-Cerrolaza，JaumeAbella，MarkusBorg，CarloDonzella，JesúsCerquides，F(xiàn)ranciscoJ.Cazorla、CristoferEnglund、MarkusTauber、GeorgeNikolakopoulos和JoseLuisFlores。2024.工業(yè)和交通領(lǐng)域安全關(guān)鍵系統(tǒng)的人工智能：調(diào)查。ACM計(jì)算量監(jiān)視器56，7，第176條（2024年7月），40頁(yè)。/10.1145/3626314AI帶來(lái)的挑戰(zhàn)?相同的輸入不會(huì)總是產(chǎn)生相同的輸出?基于概率曲線?任何時(shí)候你在聯(lián)結(jié)主義模型中加入隨機(jī)數(shù)據(jù)選擇，你都會(huì)冒著不確定性結(jié)果?如果您的模型繼續(xù)學(xué)習(xí)，例如線性回歸，則輸出將隨著模型學(xué)習(xí)而?專家系統(tǒng)一般不會(huì)受到這個(gè)問(wèn)題的困擾，但任何具有神經(jīng)網(wǎng)絡(luò)的東西都?AI的數(shù)學(xué)和代碼是完全可以理解的?你用來(lái)訓(xùn)練模型的數(shù)據(jù)是可以理解的（希望如此，如果你做得對(duì)的話）?問(wèn)題是當(dāng)您使用代碼生成數(shù)據(jù)模型?由于模型的學(xué)習(xí)方式（開(kāi)發(fā)一個(gè)復(fù)雜的概率權(quán)重網(wǎng)絡(luò)）和表達(dá)方式，不可能查看模型并理解它是如何工作的無(wú)法解釋?由于該模型是不確定的和不可理解的，因此不容易理解?對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)?可解釋和值得信賴的人工智能是一個(gè)激烈的研究?值得信賴的AI可以生成人類可以理解?分層神經(jīng)網(wǎng)絡(luò)?概率評(píng)估?深度學(xué)習(xí)是線性代數(shù)圖片：/tutorial/introduction-t數(shù)據(jù)問(wèn)題?我們的模型和我們的數(shù)據(jù)一樣好?交通數(shù)據(jù)集還處于起步階段?我們?nèi)蕴幱趥ゴ蟮摹皵?shù)據(jù)所有權(quán)”之戰(zhàn)中?我們的車輛平臺(tái)缺乏收集必要信息的傳感器（特?模特們能做運(yùn)輸數(shù)據(jù)樣本?專有數(shù)據(jù)源?特斯拉可能擁有最好的數(shù)據(jù)集?機(jī)器人出租車車隊(duì)數(shù)據(jù)第二名訓(xùn)練數(shù)據(jù)問(wèn)題?深度學(xué)習(xí)和LLM需要大量數(shù)據(jù)集進(jìn)行學(xué)習(xí)和驗(yàn)證?LLM，如ChatGPT，使用了大量的互聯(lián)網(wǎng)內(nèi)容?學(xué)習(xí)模型中使用的許多圖像、文本、書(shū)籍等都是受版權(quán)保護(hù)的材料?基于他人的作品生成人工智能模型是對(duì)版權(quán)的“合理使用”?在創(chuàng)建模型后，如何刪除訓(xùn)練數(shù)據(jù)的一部分或一段？邊緣情況?邊緣案例是不屬于訓(xùn)練數(shù)據(jù)?雖然它們可能很罕見(jiàn)，但它們可能會(huì)導(dǎo)致意想不到和不希望的結(jié)果?邊緣案件是悲劇的所在來(lái)源：Projectguru.in?UberAutonomousCrash2018年?行人步行自行車過(guò)馬路?車輛識(shí)別和跟蹤行人?車輛不會(huì)破裂?安全駕駛員分心，沒(méi)有采取行動(dòng)?工廠自動(dòng)制動(dòng)系統(tǒng)被禁用，以免干擾自動(dòng)駕駛軟件?數(shù)據(jù)限制示例以及不遵循功能安全最佳實(shí)踐?行人違反禁止行走信號(hào)?行人在交叉路口前走了一半，交通迫使行人走回去?行人被汽車撞到并被拋到巡航車輛?巡航車輛正在加速，即使它“看到”行人?車輛無(wú)法識(shí)別場(chǎng)景（邊緣情況）?行人被困在巡航車輛?車輛系統(tǒng)識(shí)別出故障?車輛沒(méi)有停下來(lái)，而是向前行駛并靠邊停車，將行人拖到車?數(shù)據(jù)限制示例以及不遵循功能安全最佳實(shí)踐AI常見(jiàn)錯(cuò)誤缺乏對(duì)模型?數(shù)學(xué)很難，圖書(shū)館很容易?有很多不同的AI模型和方法?TensorFlow很簡(jiǎn)單，幾乎不需要思考?Anaconda將訪問(wèn)擴(kuò)展到每個(gè)可以使用Python?尋找問(wèn)題?有時(shí)候，神經(jīng)網(wǎng)絡(luò)并不是最好的解決方案?經(jīng)常看到用ML解決的問(wèn)題應(yīng)該由專家系統(tǒng)?缺乏對(duì)局限性?AI和功能安全數(shù)據(jù)科學(xué)學(xué)科?傳統(tǒng)的編程基于需求?AI基于數(shù)據(jù)，這使得數(shù)據(jù)科學(xué)至關(guān)重要?“垃圾進(jìn)，垃圾出”x1000?一個(gè)常見(jiàn)的錯(cuò)誤是沒(méi)有遵循?用于學(xué)習(xí)和驗(yàn)證的小數(shù)據(jù)集存在問(wèn)題數(shù)據(jù)科學(xué)生命周期?數(shù)據(jù)收集和存儲(chǔ)?定義項(xiàng)目目標(biāo)?規(guī)范存儲(chǔ)和格式?數(shù)據(jù)缺失或不一致?清理和擴(kuò)充數(shù)據(jù)?刪除重復(fù)項(xiàng)?數(shù)據(jù)類型對(duì)話儲(chǔ) ?探索和可視化?統(tǒng)計(jì)數(shù)據(jù)分析?用于理解的?嘗試不同的模式和方法?識(shí)別數(shù)據(jù)趨勢(shì)和模式來(lái)源：/blog/what-is-data-science-the-definitive-guide運(yùn)輸應(yīng)用輔助司機(jī)?安全相關(guān)的“輔助”應(yīng)用程序，以減少受損或分心駕駛?更好的音樂(lè)播放列表預(yù)測(cè)?更好的地圖和方向?在所有這些場(chǎng)景中，駕駛員仍然是主要的控制角色異常/錯(cuò)誤檢測(cè)?車輛預(yù)測(cè)性維護(hù)?汽車貨運(yùn)公司和TSP異常/錯(cuò)誤檢測(cè)?汽車網(wǎng)絡(luò)安全[規(guī)模化]?個(gè)別車輛ID仍然存在問(wèn)題通用輸送?人工智能在運(yùn)輸管理系統(tǒng)（TMS）和交通管理系統(tǒng)（TMS）中功能安全?功能安全是眾所周知的做法，具有特定的規(guī)則和已知的方法來(lái)實(shí)現(xiàn)安全?應(yīng)對(duì)不確定性?包含分類器模型的功能安全系統(tǒng)（如防撞和車道偏離輔助）不是主要安全系統(tǒng)?駕駛員仍然是控制車輛功能安全功能安全?基于神經(jīng)網(wǎng)絡(luò)的人工智能是功能安全系統(tǒng)?測(cè)試大規(guī)模復(fù)雜的非確定性系統(tǒng)幾乎是不可?無(wú)法解釋為什么一個(gè)模型以某種方式?引入安全風(fēng)險(xiǎn)和巨額法律責(zé)任?現(xiàn)有ML模型不適合SAE3-5級(jí)自動(dòng)化?我們沒(méi)有有效?當(dāng)前的ML模型是不可解釋或不可信賴的?更高級(jí)的ML模型是不確定的?ML適用于分類器和preceptor，但不適用于功能安全?封閉和受控環(huán)境是可能的?現(xiàn)實(shí)世界的公共道路和敵對(duì)環(huán)境過(guò)于復(fù)雜，無(wú)法滿足?傳統(tǒng)技術(shù)仍然適用?MITREAI系統(tǒng)對(duì)抗性威脅態(tài)勢(shì)（ATLAS?)?OWASP十大機(jī)器學(xué)習(xí)風(fēng)險(xiǎn)分類輸入操作?修改輸入（例如圖像、傳感器值）導(dǎo)致：?一個(gè)常見(jiàn)的例子是停車標(biāo)志“修改”：?很少有ML模型是免疫的?與提示操作不同（稍后介紹）開(kāi)發(fā)優(yōu)勢(shì)案例?可用數(shù)據(jù)的限制允許邊緣情況利用?分析模型并確定低概率輸入?使用AI模糊另一個(gè)AI模型以確定限制?導(dǎo)致模型行為不正確甚至崩潰?如果輸入和輸出值沒(méi)有經(jīng)過(guò)驗(yàn)證和邊界檢查，?可能導(dǎo)致系統(tǒng)故障或軟件堆棧故障?錯(cuò)誤條件可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行或數(shù)據(jù)泄漏機(jī)會(huì)快速注射/操作?適用于根據(jù)提示?將其視為SQL注入攻擊的一種方式，但目標(biāo)不是SQL數(shù)據(jù)庫(kù)，而是底層模型?我們還可以使用社會(huì)工程技巧讓模型做它不應(yīng)該做的事情（就像欺騙一個(gè)4歲的孩子一樣困難）訓(xùn)練數(shù)據(jù)中毒?AI模型是從訓(xùn)練數(shù)據(jù)?由于缺乏訓(xùn)練數(shù)據(jù)，許多訓(xùn)練集基于公共數(shù)據(jù)源?毒化一個(gè)公共數(shù)據(jù)集可以引入?將惡意數(shù)據(jù)輸入持續(xù)學(xué)習(xí)模型可能會(huì)導(dǎo)致模型漂移和最終的模型故障黑客攻擊示例破解ADAS模型?BlackhatAsia2024-遠(yuǎn)程車輛控制的關(guān)鍵：自動(dòng)駕駛域控制器?ShupengGao，百度?百度高級(jí)安全研究員YingtaoZeng?高杰，百度?分析了超過(guò)30個(gè)ADAS設(shè)備破解ADAS模型?ADAS單元可以成為車輛整體妥協(xié)的途徑，因?yàn)樗枰贑AN網(wǎng)絡(luò)上訪問(wèn)并可更新?安全性差的ADAS模塊可能會(huì)導(dǎo)致對(duì)車輛的全面控制為人工智能辯護(hù)AI--什么是AI？事物變化越多，它們就越保持不變：?軟件堆棧漏洞?操作系統(tǒng)漏洞?軟件供應(yīng)鏈攻擊?硬件固件?平臺(tái)操作系統(tǒng)?瀏覽器漏洞?IT和DevSecOps最佳實(shí)踐仍然適用?對(duì)輸入和輸出進(jìn)行?系統(tǒng)是根據(jù)數(shù)據(jù)而不是需求?對(duì)抗性攻擊向量?????供應(yīng)鏈復(fù)雜性輸入驗(yàn)證變得更加困難和重要數(shù)據(jù)處理程序更重要DevSecOps需要整合數(shù)據(jù)和機(jī)器學(xué)習(xí)模型數(shù)據(jù)科學(xué)家需要了解網(wǎng)絡(luò)安全AI-防御性最佳實(shí)踐雖然不是一個(gè)詳盡的列表，但這里有一些最佳實(shí)踐：?保護(hù)IT和人工智能?識(shí)別和保護(hù)所有專有數(shù)據(jù)?對(duì)最終AI模型權(quán)重的?強(qiáng)化部署環(huán)境?將版本標(biāo)簽應(yīng)用于模型（更改權(quán)重）?針對(duì)邊緣情況和攻擊?檢查所有輸出，確保在邊界內(nèi)運(yùn)行（安全袋）最近有幾篇關(guān)于部署機(jī)器學(xué)習(xí)和人工智能的網(wǎng)絡(luò)安全最佳實(shí)踐的AI未來(lái)?改善客戶服務(wù)?提高業(yè)務(wù)效率?開(kāi)發(fā)更好的設(shè)計(jì)?協(xié)助開(kāi)發(fā)新材料?檢查和評(píng)估基礎(chǔ)設(shè)施?通過(guò)新的駕駛員輔助功能?增加艦隊(duì)......可解釋、可信賴的AI將帶來(lái)更多應(yīng)用進(jìn)一步閱讀science-second-edition/9進(jìn)一步閱讀對(duì)于那些想要深入數(shù)學(xué)核心并構(gòu)建自己的模型（包括深度回歸學(xué)習(xí)）的人，我?古德費(fèi)洛島，澳-地本焦，Y.，庫(kù)爾維爾A。（2017年）。深度學(xué)習(xí)麻省理工學(xué)院出版社。我還推薦以下論文，以了解有關(guān)交通運(yùn)輸中安全關(guān)鍵型AI應(yīng)用的更多信息，Cerquides、FranciscoJ.Cazorla、CristoferEnglu），?AI常見(jiàn)錯(cuò)誤?運(yùn)輸應(yīng)用厄本·瓊森ujonson@服務(wù)?威脅和風(fēng)險(xiǎn)評(píng)估?ISOSAE2143424089差距分析電子學(xué)習(xí)：YouTube：/@serjon14網(wǎng)站：參考鏈接?/sites/default/files/2020-09/AI-Definitions-HAI.pdf?JonPerez-Cerrolaza、JaumeAbella、MarkusBorg、CarloDonzella、JesúsCerquides、FranciscoJ.Cazorla、CristoferEnglund、MarkusTauber、GeorgeNikolakopoulos和JoseLuisFlores。2024年工業(yè)和交通領(lǐng)域安全關(guān)鍵系統(tǒng)的人工智能：調(diào)查。ACM計(jì)算量監(jiān)視器56，7，第176條（2024年7月），40頁(yè)。/10.1145/3626314?電子郵件/blog/what-is-data-science-the-definitive-guide 參考鏈接?神經(jīng)網(wǎng)絡(luò)?機(jī)器學(xué)習(xí)實(shí)現(xiàn)的預(yù)測(cè)性維護(hù)：汽車行業(yè)?估計(jì)深度神經(jīng)網(wǎng)絡(luò)參考鏈接?/?/slight-street-sign-modifications-can-fool-machine-learning-算法?即時(shí)注射風(fēng)險(xiǎn)-/pdf/2311.11538?