版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
安全標(biāo)準(zhǔn)-參考中文版自動駕駛產(chǎn)品安全評估2020年4月1日UL46003內(nèi)容1前言(資料性)51.1目標(biāo)52.1范圍摘要62.2范圍7中的元素2.3范圍限制 83參考出版物113.1規(guī)范性引用文件113.2信息參考 4術(shù)語,定義和文檔使用124.1如何解釋規(guī)范性元素(規(guī)范性)124.2術(shù)語和定義(規(guī)范性)164.3縮寫和縮略語(信息性)215安全案例與論點(diǎn)225.1一般225.2安全箱樣式和格式245.3主張和論據(jù)充分性285.4證據(jù)充分325.5接受的風(fēng)險355.6安全文化365.7項目范圍386風(fēng)險評估406.1通用406.2故障模型416.3危害576.4風(fēng)險評估596.5風(fēng)險緩解和緩解效果評估647與人和道路使用者的互動697.1人與人的互動697.2人際交流707.3與人和動物的互動747.4人類對操作安全的貢獻(xiàn)827.5弱勢道路用戶互動867.6其他車輛互動897.7引發(fā)人類安全責(zé)任的模式變更928.1通用自治管道948.2運(yùn)營設(shè)計域(ODD)968.3感應(yīng)1018.4感知1108.5機(jī)器學(xué)習(xí)和“Al”技術(shù)1138.6規(guī)劃1208.7預(yù)測1238.8物品軌跡和系統(tǒng)控制1248.9致動12817評估2572020年4月1日8.10計時1299軟件和系統(tǒng)工程過程1309.1開發(fā)流程嚴(yán)謹(jǐn)1309.2軟件質(zhì)量1359.3缺陷數(shù)據(jù)1389.4開發(fā)流程質(zhì)量13810可靠性14010.1通用14010.2降級操作14010.3冗余14610.4故障檢測與緩解15210.5項目健壯性15710.6事故響應(yīng)15910.7系統(tǒng)計時17010.8網(wǎng)絡(luò)安全17211數(shù)據(jù)和網(wǎng)絡(luò)17611.1一般17611.2數(shù)據(jù)通信和網(wǎng)絡(luò)17611.3數(shù)據(jù)存儲18311.4基礎(chǔ)架構(gòu)支持18612.1驗證,確認(rèn)(V&V)和測試方法18912.2V&V方法19012.3V&V覆蓋19412.4測試19712.5運(yùn)行時監(jiān)控20412.6安全案例更新20813.1將軍21113.2工具識別21213.3降低工具風(fēng)險 14.1綜合22114.4制造和物品部署22814.5供應(yīng)鏈22914.6現(xiàn)場修改和更新23114.7操作23514.8退休和處置23815保養(yǎng)24015.1保養(yǎng)與檢查24015.3非運(yùn)行安全24516.1通用24616.3指標(biāo)分析和響應(yīng)2542020年4月1日合格評定257合格評定包259獨(dú)立評估262符合性監(jiān)控269提示元素反饋272A1兼容性274A2安全案例274A4條款映射到ISO/PAS2141前言(資料性)1.1.1該標(biāo)準(zhǔn)旨在幫助確保在設(shè)計過程中對自主產(chǎn)品的安全性進(jìn)行了可接受的全面考慮,并將在整個系統(tǒng)生命周期中繼續(xù)進(jìn)行。它通過強(qiáng)調(diào)對安全案例的徹底性進(jìn)行可重復(fù)評估來做到這一點(diǎn)。1.1.2符合本標(biāo)準(zhǔn)并不保證安全的自動駕駛汽車。但是,符合此標(biāo)準(zhǔn)將促進(jìn)更嚴(yán)格的工程設(shè)計,以支持安全的自動化車輛。還應(yīng)認(rèn)識到,安全案例只是自動化車輛完整安全保證框架的許多重要組成部分之一,并且預(yù)計該標(biāo)準(zhǔn)將與標(biāo)準(zhǔn)組織和監(jiān)管機(jī)構(gòu)定義的其他標(biāo)準(zhǔn)和測試方法結(jié)合使用。1.2.1本標(biāo)準(zhǔn)的范圍是以輕型自動駕駛公路車輛為具體示例的通用自動駕駛系統(tǒng)標(biāo)準(zhǔn)框架。為此,該標(biāo)準(zhǔn)版本包括適用于輕型自動駕駛公路車輛(客運(yùn)和貨運(yùn)車輛)的廣泛提示列表。許多提示將適用于其他自動駕駛地面車輛,甚至其他類型的自動駕駛系統(tǒng),但尚未做出具體嘗試以包括適用于其他應(yīng)用的廣泛提示,也未將道路車輛提示與更一般的提示分開。1.2.2本標(biāo)準(zhǔn)(UL4600)中采用的方法是要求基于聲明的安全案例,該案例實質(zhì)上涵蓋了安全保證所需的全部材料。該安全案例包括一組結(jié)構(gòu)化的索賠,論點(diǎn)和證據(jù),證明某項物品(車輛加上有助于安全的所有其他支持)可以安全部署。為了支持該目標(biāo),UL4600評估強(qiáng)調(diào)確保安全情況合理地完成且結(jié)構(gòu)良好。特別是,UL4600提供了改進(jìn)安全案例一致性和完整性的指南。為此,特別需要一些最佳實踐的過程活動和精細(xì)的工作產(chǎn)品(例如,創(chuàng)建危害日志)。但是,沒有特定的總體設(shè)計過程是強(qiáng)制性的,也沒有用于創(chuàng)建大多數(shù)工作產(chǎn)品的特定方法的強(qiáng)制性(例如,不需要V型開發(fā)過程;可以使用任何合理的方法來創(chuàng)建危害清單)可以接受)。1.2.3該標(biāo)準(zhǔn)未定義過程,而是提出了評估標(biāo)準(zhǔn)來確定安全案例的可接受性。這樣,節(jié),子句和提示元素的順序并不暗示時間順序或其他過程路徑依賴性。1.3與其他標(biāo)準(zhǔn)一起使用1.3.1該標(biāo)準(zhǔn)旨在與現(xiàn)有標(biāo)準(zhǔn)配合使用,以提供必要的附加要素,以確保在創(chuàng)建安全案例時已全面考慮了全自動項目操作的安全方面。1.3.2在最大的實際可行范圍內(nèi),開發(fā)人員可以利用所付出的努力和評估獲得的功勞來遵守其他現(xiàn)有標(biāo)準(zhǔn)。開發(fā)人員可以將材料合并到他們的安全案例中,這些案例是由于執(zhí)行流程和生成其他標(biāo)準(zhǔn)要求的工作產(chǎn)品1.3.3該標(biāo)準(zhǔn)的目的是在可行的最大范圍內(nèi)與現(xiàn)有相關(guān)安全標(biāo)準(zhǔn)兼容,尤其要避免禁止任何必要的活動或這些標(biāo)準(zhǔn)。特別是考慮了與ISO26262:2018和ISO/PAS21448:2019的兼容性。附件A討論了該標(biāo)準(zhǔn)中某些條款到ISO26262:2018和ISO/PAS21448:2019的映射。其他安全標(biāo)準(zhǔn)(例如IEC61508)是相關(guān)的,并且有望普遍兼容,但是對IEC61508和其他功能安全標(biāo)準(zhǔn)的詳細(xì)分析不在此版本的UL4600的范圍之內(nèi)。1.3.4此標(biāo)準(zhǔn)超出范圍的兩個領(lǐng)域是設(shè)置可接受的風(fēng)險水平,以及對道德的產(chǎn)品發(fā)布決策和產(chǎn)品行為的任何道德方面的要求。對于這兩個主題,開發(fā)人員都記錄已做出的決定,但是該標(biāo)準(zhǔn)未建立已記錄的接受標(biāo)準(zhǔn)。其他標(biāo)準(zhǔn)(例如IEEEP7000系列)提供了有關(guān)這些主題的指南。2.1范圍摘要2.1.1該標(biāo)準(zhǔn)涵蓋了安全原理,緩解風(fēng)險,工具,技術(shù)和生命周期過程,用于建立和評估可在自主模式下運(yùn)行的車輛的安全性論據(jù)。2.1.2假定在沒有人為監(jiān)督的情況下進(jìn)行操作,并且在基于當(dāng)前項目狀態(tài)以及感知和解釋操作環(huán)境的能力的情況下,無需人工干預(yù)就可以執(zhí)行和監(jiān)督動態(tài)駕駛?cè)蝿?wù)和其他正常系統(tǒng)操作。除了正常操作以外,還考慮了人為安全做出的貢獻(xiàn)(例如,維護(hù)),以及與未操作該物品的人(例如,行人)的互動。2.1.3當(dāng)提及安全案例的范圍以及項目的操作時,該標(biāo)準(zhǔn)通常使用術(shù)語“項目”而不是“系統(tǒng)”或“產(chǎn)品”。這種方法認(rèn)識到物品的安全性可能取決于基礎(chǔ)設(shè)施,服務(wù),支持流程以及其他通??赡懿槐灰暈橄到y(tǒng)本身(例如車輛本身)但嚴(yán)重影響其安全性的因素。因此,所有這些都被認(rèn)為在所評估項目的范圍內(nèi)。2.1.4該標(biāo)準(zhǔn)假設(shè)該物品在沒有人為干預(yù)的情況下從某個定義明確的初始狀態(tài)開始自動運(yùn)行到其他定義明確的結(jié)束狀態(tài)。人為輸入可能會影響期望狀態(tài)的選擇(例如,通過乘員請求目的地)。但是,操作員通過執(zhí)行或監(jiān)督動態(tài)控制任務(wù)(例如,通過駕駛或負(fù)責(zé)監(jiān)視系統(tǒng)操作)減輕或引入風(fēng)險的程度不在標(biāo)準(zhǔn)范圍內(nèi)。類似地,操作員的績效或不履約在涉及將駕駛員控制權(quán)轉(zhuǎn)移到物品或從物品轉(zhuǎn)移風(fēng)險方面所涉及的程度也超出了標(biāo)準(zhǔn)范圍。但是,確保該物品本身在正常情況下在標(biāo)準(zhǔn)范圍內(nèi)可以正常執(zhí)行控制功能的任何更改,因為它也會對全自動模式下的操作產(chǎn)生不利影響。因此,盡管本標(biāo)準(zhǔn)的某些部分可能有助于解決不完全自動駕駛的車輛問題,但涉及人類駕駛員責(zé)任,警惕性以及適當(dāng)承擔(dān)車輛控制責(zé)任的能力的問題不在本標(biāo)準(zhǔn)范圍之內(nèi)。2.1.5盡管信息安全是必不可少的主題,但該領(lǐng)域的細(xì)節(jié)超出了本標(biāo)準(zhǔn)的范圍,超出了對安全計劃的一般要求,與其他車輛安全要求相比,提示元素對于自動駕駛汽車而言可能是唯一的。合理可預(yù)見的濫用和濫用以及物理攻擊(例如物理傳感器損壞)均在范圍之內(nèi)。2.1.6本標(biāo)準(zhǔn)的要求被認(rèn)為是必要的,但可能不足以保證其完整性和嚴(yán)密性,以建立可接受的結(jié)構(gòu)良好和可接受的完整物品安全性。2020年4月1日UL46007案件。特別是,提示元素列表被認(rèn)為不是詳盡無遺的,期望設(shè)計團(tuán)隊將包括與該元素及其操作設(shè)計領(lǐng)域相關(guān)2.2范圍要素2.2.1明確打算在本標(biāo)準(zhǔn)范圍內(nèi)進(jìn)行的項目操作和安全相關(guān)問題的特定方面包括:a)可能在非結(jié)構(gòu)化環(huán)境中操作自治項目例:車輛是被引導(dǎo)到空曠農(nóng)田中的第一輛車輛,該區(qū)域包含可行區(qū)和非可行區(qū)的混合區(qū)域,用于遍歷和停車,這是臨時溢出事件停車過程的一部分。沒有車道標(biāo)記,也沒有定位信標(biāo)。此外,在田間隨機(jī)放置了母牛和干草。沒有人協(xié)助組織停車位。這種情況屬于標(biāo)準(zhǔn)范圍。例:一群人在火災(zāi)現(xiàn)場濺到街上。應(yīng)急設(shè)備,應(yīng)急人員,受害者和臨時觀察員在行動,而與正常的道路使用方式無關(guān)。存在消防水帶,掉落的燃燒碎片,小爆炸,交通信號燈停電,人行道損壞以及對正?;A(chǔ)設(shè)施預(yù)期的其他破壞。建筑物出口處有多人受傷,他們呼吁使用自動駕駛冰雹服務(wù)將其接送到緊急醫(yī)療機(jī)構(gòu)。這種情況屬于標(biāo)準(zhǔn)范圍。注意:特定項目的安全案例可能需要ODD說明中指定的結(jié)構(gòu)化環(huán)境,以確保安全操作。但是,默認(rèn)情況下不假定存在結(jié)構(gòu)。因此,如果適用,必須通過安全案例明確禁止在非結(jié)構(gòu)化環(huán)境中運(yùn)行。b)使用傳感器提供的潛在不準(zhǔn)確,不正確,不完整或誤導(dǎo)性數(shù)據(jù)進(jìn)行操作c)可能不準(zhǔn)確,不正確,不完整或有偏見的數(shù)據(jù)(包括測試數(shù)據(jù),現(xiàn)場報告數(shù)據(jù),其他驗證數(shù)據(jù)和機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù))的影響。d)潛在的不精確,不準(zhǔn)確或不完整的仿真模型的影響。e)項目中的硬件和/或軟件,數(shù)據(jù)收集功能,數(shù)據(jù)處理功能,通信,工程支持系統(tǒng),工具和基礎(chǔ)結(jié)構(gòu)支持的潛在缺陷和故障。f)人類對潛在風(fēng)險的貢獻(xiàn),包括乘員,行人,其他道路使用者,非道路使用者,貨物搬運(yùn)者,維護(hù)者和檢查員。這包括不作為和委托的行為;意外和惡意的身體行為:以及在創(chuàng)造和減輕風(fēng)險方面的g)生命周期注意事項,包括設(shè)計數(shù)據(jù)收集,工程數(shù)據(jù)管理,工具鑒定,設(shè)計,實施,測試,其他驗證,現(xiàn)場數(shù)據(jù)收集,操作,維護(hù),更新,升級和報廢。生命周期注意事項還包括對環(huán)境的潛在更改,這些更改可能會影響ODD,對象類型的更改,行為的更改等。h)包括降低風(fēng)險和通過遵守其他標(biāo)準(zhǔn),特別是針對適用于那些標(biāo)準(zhǔn)范圍內(nèi)的產(chǎn)品的ISO26262和ISO/PAS21448標(biāo)準(zhǔn),對安全案例做出的其他貢獻(xiàn)。i)使用不同方法論證的能力,包括使用各種標(biāo)準(zhǔn)來支持安全性(例如,對不同的項目子系統(tǒng)使用不同但可接受的功能安全性標(biāo)準(zhǔn))。2.2.2所描述的范圍內(nèi)的主題都不旨在要求該物品在所描述的所有情況下都能成功提供全面的服務(wù)。相反,要求是考慮所有即時要素,并認(rèn)為盡管有這些因素,風(fēng)險還是可以接受的。在許多情況下,這將涉及制作排除有問題的提示元素的ODD。但是,從ODD(或類似方法)中排除提示元素會產(chǎn)生一種辯解,即排除本身并不會導(dǎo)致不可接受的風(fēng)險。例:沒有車道標(biāo)志的未鋪砌道路將被排除在ODD之外。安全案例通常認(rèn)為,地理圍欄和地圖創(chuàng)建將排除所有未鋪設(shè)的道路。進(jìn)一步的論點(diǎn)是,這種排除包括快速識別正在進(jìn)行暫時未標(biāo)記但仍載有交通的翻新工程例:奇數(shù)掃描儀中不包括雪。雪仍然是安全案例的一部分,以覆蓋在執(zhí)行任務(wù)期間發(fā)生的不可預(yù)測的雪。安全案例通常認(rèn)為,盡管有雪,它也可以通過車道內(nèi)停車成功終止任務(wù)。它還進(jìn)一步證明(有證據(jù)),在部署地點(diǎn)很少會下雪,以至于偶爾的行車道內(nèi)停車所造成的產(chǎn)品風(fēng)險升高是可以接受的。2.3范圍限制2.3.1該標(biāo)準(zhǔn)的一個重要范圍限制是它沒有涵蓋與確保人員能夠為一個自治項目提供有效的安全監(jiān)督有關(guān)的詳細(xì)主題。而是,覆蓋范圍僅限于無人監(jiān)督的完全自主操作,以及在人為監(jiān)督的操作過程中與爭論人為監(jiān)督效力無關(guān)的項目方面。同樣,操作人員安全地控制項目的能力的方面也超出范圍,更具體地說,以下內(nèi)容明確地超出了本標(biāo)準(zhǔn)的范圍:a)項目控制方面的控制點(diǎn)不在項目本身之外的項目方面以及項目級別的安全性例子:遠(yuǎn)程操作模式的端到端系統(tǒng)級安全性(包括人員監(jiān)督者或駕駛員)被排除在其依賴于人員遠(yuǎn)程操作者控制,監(jiān)督或確保系統(tǒng)安全的程度。注意:產(chǎn)品級別的“項目”旨在包括參與車輛控制的外部功能,例如基于云的路線計劃系統(tǒng)。注意:對遠(yuǎn)程操作命令的正確響應(yīng)以及遠(yuǎn)程操作數(shù)據(jù)從車輛中正確傳輸?shù)姆秶?。但是,由于人類參與了駕駛?cè)蝿?wù),因此遙操作在系統(tǒng)級別上實際上是否安全超出了范圍。b)與切換或模式切換期間或之后的安全相關(guān)的人為因素,使人員應(yīng)對動態(tài)控制任務(wù)的安全負(fù)責(zé)。例:確保有人力監(jiān)督員并能夠根據(jù)要求安全地接管項目操作并在部分或全部自治功能被禁用時繼續(xù)安全地操作車輛的細(xì)節(jié)超出了范圍。c)為人類對動態(tài)駕駛?cè)蝿?wù)的貢獻(xiàn)而采取的降低風(fēng)險或其他安全論據(jù)功勞(例如,人類駕駛員,人類安全主管,人類遠(yuǎn)程操作員,人類機(jī)敏性問題,人類境況意識問題)。2020年4月1日UL46009例:應(yīng)該如何為遠(yuǎn)程操作員提供安全有效的人機(jī)界面的細(xì)節(jié)不在討論范圍之內(nèi)。d)原型車的道路測試應(yīng)達(dá)到一定程度,以確保安全論點(diǎn)應(yīng)歸功于人類執(zhí)行和/或監(jiān)督動態(tài)駕駛?cè)蝿?wù)。e)有關(guān)如何確保人員可接受地滿足對物品安全中非駕駛角色的期望的細(xì)節(jié)。明確地說,識別人員對安全案例的貢獻(xiàn)(例如,通過執(zhí)行檢查或人員正確感知和解釋項目提供的信號的能力)屬于范圍內(nèi)。但是,在人的行為,心理,局限性等方面,詳細(xì)說明如何實際確保以可接受的方式進(jìn)行貢獻(xiàn)的細(xì)節(jié)超出了范圍。雖然能力框架,員工技能列表和經(jīng)驗要求可能是涵蓋安全案例的有用主題,但有關(guān)這些主題的詳細(xì)信息不在本標(biāo)準(zhǔn)范圍內(nèi)。f)有關(guān)如何評估人機(jī)界面設(shè)備的適用性和有效性的細(xì)節(jié)。明確地說,識別此類設(shè)備的需求以及確保適用性和有效性的需求不在范圍之內(nèi),但是對如何滿足該需求的特定要求則不在范圍之內(nèi)。例:在執(zhí)行任務(wù)的任何情況下,處于自動操作狀態(tài)的汽車均不應(yīng)將車輛控制權(quán)轉(zhuǎn)移給乘員。實際上,它確實嘗試將車輛控制權(quán)轉(zhuǎn)移給乘員,并提供三秒鐘的警告。在UL4600范圍內(nèi):車輛在不應(yīng)該嘗試的情況下嘗試向駕駛員進(jìn)行交接。在UL4600范圍內(nèi):不正確地嘗試轉(zhuǎn)移控制權(quán)而違反了完全自主的操作模式。超出UL4600的范圍:三秒是否足以警告有效切換,以及乘員是否是合格的駕駛員。例:自動駕駛汽車被設(shè)計為在某些情況下,當(dāng)駕駛員合格,稱職并知道此越區(qū)切換任務(wù)參數(shù)時,會以10秒的警告將控制權(quán)轉(zhuǎn)移給駕駛員。在UL4600范圍內(nèi):在沒有發(fā)出整整10秒警告的情況下轉(zhuǎn)移控制權(quán);設(shè)計有缺陷的制動控制機(jī)制,在某些情況下會阻止駕駛員實際在指定時間重新獲得控制權(quán)(例如,盡管試圖進(jìn)行換手,駕駛員的制動踏板仍被禁用);人為操作制動踏板是否旨在在指定條件下啟動切換。超出UL4600的范圍:在任何特定的切換情況下,十秒是否足以警告有效切換;駕駛員踩下制動踏板是否是安全的(從人為因素的角度出發(fā))切換啟動機(jī)制;檢查乘員是否是合格的駕駛員;檢查駕駛員是否具有足夠的認(rèn)知能力以安全操作;檢查駕駛員是否處于正確的座位位置以進(jìn)行操作控制;一旦控制權(quán)轉(zhuǎn)移給駕駛員,車輛的安全性;高級駕駛員輔助(ADAS)的功能可降低人為駕駛員控制下的風(fēng)險。2.3.2還有許多其他主題超出范圍。在與安全情況相關(guān)的地方,應(yīng)參考這些主題,但本標(biāo)準(zhǔn)中不包括諸如提供技術(shù)深度的提示元素之類的細(xì)節(jié):a)特定的預(yù)期功能(例如,表面清潔,易碎貨物運(yùn)輸)b)最終產(chǎn)品要求注意:最終產(chǎn)品標(biāo)準(zhǔn)旨在參考或要求該標(biāo)準(zhǔn)。c)法律和政策問題例子:確定責(zé)任,什么記錄保留政策是適當(dāng)?shù)?,什么水平或產(chǎn)品風(fēng)險實際上是社會可以接受的。d)倫理道德問題例子:解決可接受風(fēng)險的問題,評估不同損失事件場景的相對嚴(yán)重性e)電動汽車安全例子:安全的電池設(shè)計,安全的電池管理算法,電池?zé)崃抗芾韋)通用車輛安全例子:減輕碰撞,約束乘員,加油/充電安全g)執(zhí)行預(yù)期功能的與安全無關(guān)的質(zhì)量方面例子:騎行品質(zhì),燃油經(jīng)濟(jì)性h)碰撞和傷害緩解機(jī)制的有效性例子:安全帶,安全氣囊,兒童座椅2.3.3同樣隱含地重新定義了現(xiàn)有標(biāo)準(zhǔn)和可接受的做法,以至于可以接受它們以支持正在制定的安全案例。在與安全情況相關(guān)的地方,應(yīng)參考這些主題,但具體內(nèi)容不包括在本標(biāo)準(zhǔn)中。這些主題包括:a)政府規(guī)章例子:FMVSS,聯(lián)邦通信委員會射頻干擾發(fā)射認(rèn)證b)項目的機(jī)械方面例子:尖銳邊緣,夾點(diǎn),車窗提升電機(jī)關(guān)閉壓力極限c)舊版操作程序例子:車門操作,車門上的兒童鎖,貨物裝卸d)正常運(yùn)行以外的其他車輛支持的詳細(xì)信息(除非自動駕駛有望提供這種支持并且這種提供與安全有關(guān))例子:在不構(gòu)成危險的情況下對與安全無關(guān)的例行維護(hù)程序的自治支持e)人在操作或監(jiān)督動態(tài)駕駛?cè)蝿?wù)時控件的充分性和性能以及項目響應(yīng)例:根據(jù)FMVSS的要求2020年4月1日UL4600113.1規(guī)范性引用不適用日期的引用文件,其最新版本(包括所有的修改單)適用于本標(biāo)準(zhǔn)。DefStan00-56,國防系統(tǒng)安全管理要求FAAAC25.1309-1A,系統(tǒng)設(shè)計和分析FAAFOIEEE24765,系統(tǒng)和軟件工程-詞匯ISO26262:2018,道路車輛-功能安全I(xiàn)SO/PAS21448:2019,自動駕駛的安全第一;由11個汽車和移動行業(yè)領(lǐng)導(dǎo)者發(fā)布的-用于安全自動乘用車的首個框架:SCSC-153A,自治系統(tǒng)的安全保證目標(biāo)-英國安全關(guān)鍵系統(tǒng)俱樂部;注意:本文件由自治系統(tǒng)安全工作組(SASWG)撰寫,該工作組在英國SCSC的主持下召集。SASWG的目標(biāo)是針對整個生命周期中如何在與安全相關(guān)的上下文中管理自治系統(tǒng)和自治技術(shù)提供明確的指導(dǎo),以緊密關(guān)注自治所獨(dú)有的挑戰(zhàn)的方式。該文件旨在解決僅基于機(jī)器學(xué)習(xí)的人工智能(Al)帶來的安全問題,計劃于2020年2月11日至13日在SSS'20上正式發(fā)布。鏈接到文檔:https://scsc.uk/SCSC-153A。4術(shù)語,定義和文檔使用4.1如何解釋規(guī)范性元素(規(guī)范性)4.1.1該標(biāo)準(zhǔn)的常用結(jié)構(gòu)對安全情況的影響如下。除“EXAMPLE”和“REFERENCE”語句以及明確聲明可提供信息的任何其他內(nèi)容外,所有元素都是規(guī)范性的。(有關(guān)關(guān)鍵安全案例偏差說明的摘要,請參見下面的表4.1。)a)帶編號的條款(從5.1.1開始)通常被稱為“應(yīng)”遵守義務(wù)。這些旨在作為一般性說明,并帶有支持性的提示性提示元素,可提供更多詳細(xì)信息。除了在第17節(jié)中涉及處理在安全案例本身上進(jìn)行的活動的一致性評估過程條款外,每個條款都在安全案例中得到專門解決。安全案例可導(dǎo)航性的重要組成部分是識別安全案例中支持滿足每個條款的部分的能力。除非另有說明,否則所有條款的范圍均為該項目中與安全相關(guān)的部分。b)強(qiáng)制提示元素:由安全案例解決。不允許出現(xiàn)安全案例偏差。任何安全情況下的偏差都會導(dǎo)致不符合項。例:“確定危害”是強(qiáng)制性的-必須做到。例:一個團(tuán)隊試圖證明強(qiáng)制性提示元素X不適用于他們的項目。這是對安全案例偏離的無效嘗試。注意:在某些情況下,強(qiáng)制提示元素是指以分層方式考慮其他子句。應(yīng)將其解釋為在安全性論點(diǎn)中強(qiáng)制性包含相關(guān)的更高級別的主張,而不是強(qiáng)制性地包含所引用條款的所有非強(qiáng)制性提示元素。尤其是,此類層次結(jié)構(gòu)引用無意覆蓋安全案例偏離規(guī)則。例:強(qiáng)制提示元素X指出,安全情況解決了Y部分。Y部分具有高度推薦的提示元素Z。最終要求是,必須通過安全案例來滿足Y部分中所有條款的要求,但是根據(jù)其高度推薦類別,仍然允許對提示元c)所需的提示元素:由安全案例解決。僅當(dāng)通過提示證明提示元素與項目和/或其安全案例本質(zhì)上不兼容時,才允許發(fā)生安全案例偏離。安全案例中明確指出了對每種安全案例偏差的支持。最終產(chǎn)品標(biāo)準(zhǔn)可以枚舉從安全案例中可以忽略的必需元素(即,最終產(chǎn)品標(biāo)準(zhǔn)指定的全面默認(rèn)安全案例偏差)。如果未對REQUIRED元素記錄安全案例偏差,則該安全案例不符合要求。由于非固有不適用性原因?qū)е碌陌踩咐顣?dǎo)致不符合項。現(xiàn)場工程反饋和變更影響分析用于檢測內(nèi)部不兼容聲明無效的可能性??山邮艿陌踩咐钍纠ǎ豪喝绻椖课匆匀魏畏绞?包括設(shè)計,操作和現(xiàn)場操作數(shù)據(jù)分析)使用基于機(jī)器學(xué)習(xí)的技術(shù),則對機(jī)器學(xué)習(xí)要求的安全案例偏差。例:如果項目不以任何與安全相關(guān)的方式依賴于路標(biāo),則安全案例會偏離識別路標(biāo)。支持這一觀點(diǎn)的論點(diǎn)可能是,ODD專門排除了道路標(biāo)志,或者該項目僅使用道路標(biāo)志以外的其他手段來收集等效信息。例:如果項目未定義ODD子集,安全情況就會偏離特定于將ODD細(xì)分為多個ODD子集的要求(即,如果某項使用單個整體ODD,則與ODD子集相關(guān)的任何要求均不適用)。例:數(shù)據(jù)尚不存在,因為在項目生命周期中從未發(fā)生過潛在事件或狀況。例如,如果尚未部署任何物品,則記錄糾正在物品操作過程中發(fā)現(xiàn)的缺陷的記錄。但是,對于收集和處理此類潛在事件的機(jī)制和程序,不允許出現(xiàn)安全案例偏差-只有在發(fā)生現(xiàn)場事件之前,安全案例內(nèi)容的一部分才存在。好的做法是包括明確指定的占位符示例,以填充空數(shù)據(jù)集,以練習(xí)工具,過程和可追溯性。d)高度推薦的提示元素:這些是應(yīng)該遵循的最佳實踐,但可以省略,尤其是對于低風(fēng)險項目。安全案例中明確指出了遺漏,并提供了合理的支持理由,以提供一個根源,以便將根本原因分析追溯到這些遺漏。只要以合理的理由記錄了這些遺漏,就可以認(rèn)為該安全案例是可以接受的。在包括“其他”的通用提示元素的情況下,省略“無其他”的理由是可以接受的?,F(xiàn)場工程反饋的主要目的是確保確定對安全相關(guān)問題有實質(zhì)性貢獻(xiàn)的任何提示要素的安全案例偏差,并消除偏差。例:強(qiáng)烈建議使用特定的分析技術(shù)。安全案例指出,該技術(shù)未與“正在使用的其他分析技術(shù)可提供可比信息”的原理一起使用。該安全案例包含一個論點(diǎn),即不存在可能通過將這種技術(shù)添加到設(shè)計方法中而可以預(yù)防的根本原因未知的事件歷史。此論據(jù)由根本原因分析日志支持,該日志顯示所有根本原因均已解決,在沒有其他不利信息的情況下,沒有留下可能實際上追溯到提示元素偏離的未解決候選對象。例:強(qiáng)烈建議立即更改要素的理由是“2019年9月23日舉行的安全案例審查會議認(rèn)為這不適用?!彪m然只看技術(shù)內(nèi)容,但這是特定的文檔,據(jù)說該文檔是經(jīng)過深思熟慮的過程用來決定不解決提示元素的。但是,仍然必須對現(xiàn)場問題進(jìn)行根本原因分析,并且可能取決于現(xiàn)場經(jīng)驗而使這一理由無效。e)推薦的提示元素:這些是可選的提示元素,記錄了良好做法和/或有用技術(shù)的建議。如果采用,則可以將它們包含在安全案例中。但是,解決這些提示元素完全是可選的。不論是否包含安全案例,都被認(rèn)為格式良好。f)PITFALL提示元素:這些是反模式,通常具有以下一般形式:“如果X為真,則項目傾向于增加Y的風(fēng)險?!鳖A(yù)期的解釋是,如果X為真(例如,在安全案例中出現(xiàn)了使用某些設(shè)計模式X或工程技術(shù)X),則除非已將認(rèn)知失敗者Y明確認(rèn)定為假,否則該安全案例被視為無效。換句話說,除非安全案例提出合理的論據(jù)和減輕風(fēng)險Y的證據(jù),否則Y表示被X激活的項目風(fēng)險。更正式地說,術(shù)語“陷阱”標(biāo)記有條件的認(rèn)知挫敗者提示有關(guān)聲稱已滿足父項要求。響應(yīng)陷阱提示元素可能已完成有兩種方式。(1)認(rèn)為前提X不成立。對于提示元素,這相當(dāng)于可接受的安全案例偏差。(2)爭論了,如果前提條件X為真或可能為真,則可以減輕后置條件Y帶來的風(fēng)險。陷阱的安全案例偏離規(guī)則根據(jù)分類(強(qiáng)制,必需,高度推薦或推薦)應(yīng)用。當(dāng)沒有爭論可以避免陷阱時,就會發(fā)生安全案注意:出于評估目的,每個陷阱僅適用于列出該陷阱的特定條款的范圍。但是,在創(chuàng)建安全性論點(diǎn)(Pitfalls可能產(chǎn)生更大的影響)時要考慮這是一個好習(xí)慣(但可選)。g)符合性聲明。根據(jù)第17節(jié),通過自我審核和獨(dú)立評估來評估與每個條款的符合性。每個條款都有一個一致性聲明,該聲明提供了一些指南,以標(biāo)識安全案例的部分內(nèi)容以及與評估該條款的一致性特別相關(guān)的其他信息來源。當(dāng)評估者確定情況有必要時,允許評估者考慮符合性聲明之外的客觀證據(jù),但根據(jù)該條款的書面范圍限制符合性判定。(自審計員可以并且應(yīng)該考慮是否需要為特定項目的安全案例添加超出本標(biāo)準(zhǔn)所包含的提示元素。)一致性檢查是由項目開發(fā)者以外的其他人員進(jìn)行一致性檢查(請參閱第17節(jié))。(對于安全案例工件進(jìn)行自我審核的情況非常有限;請參見第h)注意語句。這些是有關(guān)如何解釋本節(jié)規(guī)范性要素的說明,在某些情況下還提供了理論依據(jù)。i)示例列表(非規(guī)范)。在某些情況下,提供了示例。例子是非規(guī)范性的,在許多情況下,并非適用于所有項目。它們的主要目的是通過示例定義以減少潛在的歧義。第二個目的是作為常見問題的信息豐富但不完整的清單,應(yīng)酌情考慮。預(yù)期并且要求安全案例的構(gòu)造和評估超出任何示例的范圍。盡管在安全案例中排除示例本身并不會導(dǎo)致發(fā)現(xiàn)不符合項,但鼓勵獨(dú)立評估師提出其他示例,并根據(jù)評估經(jīng)驗在必要時建議將特定示例提升為規(guī)范的即刻要素狀態(tài)。4.1.2表4.1顯示了針對不同類型元素的安全案例偏差方法的摘要:狀態(tài)。允許的安全案例偏離具有可接受的理由。影響分析和生命周期狀態(tài)更改的可能性。所有的安全案例偏差都應(yīng)記錄在安全案例中并加以說明??蛇x項目。安全案例無需提及。安全案例偏差不需要參數(shù)支2020年4月1日UL4600154.1.3支持特定子句的列表,例如MANDATORY或REQUIRED項目的列表,按以下方式解釋:a)為簡潔起見,即使未明確說明,列表中每個項目的上下文也都是首要子句。這意味著列表通常會提供一組簡潔和易用的提示,而不是完整說明的“應(yīng)該”聲明。b)除非明確說明,否則列表順序沒有隱含的排名,偏好或優(yōu)先級。c)除非另有特別說明,否則所有提示元素列表都可能不完整。格式正確且完整的安全案例可根據(jù)需要擴(kuò)展列表,以實現(xiàn)可接受的安全結(jié)果。除非另有說明,否則提示元素列表應(yīng)被視為安全情況下要考慮的最少要點(diǎn)集,而不是所有可能要點(diǎn)的詳盡集。d)如果不同的提示元素列表似乎重疊,則可以根據(jù)需要跟蹤單個參數(shù)或證據(jù)分支到多個提示元素。一種常見的情況是,MANDATORY提示元素將提供一個通用提示元素,而一個或多個REQUIRED提示元素將給出該通用元素的特定示例,以確保在適用時予以考慮。e)如果單個提示元素列表包含明顯重疊的項目,則足以追溯到最適合開發(fā)人員的提示元素。此類重疊列表通常用于解決跨域和子域的潛在不同解釋和術(shù)語問題。f)列表中的每個提示元素均按規(guī)定的安全案例偏差嚴(yán)格程度進(jìn)行說明。因此,如果需要針對單個“必需”部分的十個元素列表進(jìn)行安全案例偏離,則安全案例以一種可單獨(dú)追溯到列表中十個提示元素中每個元素的方式記錄安全案例偏離。(有關(guān)安全案例偏離的單一理由說明可能追溯到十個要素中的某些或全部,但必須記錄可追溯性。)g)短語中的“至少一個”包含替代項的子列表。在安全情況下,只需要解決列表中的一個備選方案,但是如果需要,可以另外解決其他方案。即使“強(qiáng)制性”或“必需”列表中出現(xiàn)“至少一個”,也是如此。請注意,在某些情況下,由于Pitfall語句,實際上可能需要兩個或多個提示元素。未列出的替代方案可以被視為滿足“至少一項”標(biāo)準(zhǔn),并在可接受性方面提供適當(dāng)?shù)恼摀?jù)支持。(這是根據(jù)提示元素列表不被認(rèn)為是詳盡無遺的原理,因此,安全案例可以根據(jù)這些提示元素列表的本地版本添加提示元素。)h)清單項目的“裁縫”必須遵守上面表4.1中匯總的安全案例偏離規(guī)則。4.1.4為了簡單和統(tǒng)一起見,盡管對部分本身進(jìn)行編號時使用了印刷約定,但對部分,子句和提示元素的引用仍使用十進(jìn)制表示法。4.1.5關(guān)于提示列表的范圍,另請參閱2.1.6。4.2術(shù)語和定義(規(guī)范性)4.2.1可以接受足以達(dá)到在安全情況下確定的整體項目風(fēng)險。例:“可接受的測試范圍”是指測試范圍足以支持獲得安全隱患減免信用后安全案例對整體項目風(fēng)險的聲明。注意:這是與安全案例的有效性和完整性相關(guān)的客觀術(shù)語,而不是與任何特定評估者的個人觀點(diǎn)相關(guān)的主觀術(shù)語。4.2.2激活(故障或危險)導(dǎo)致系統(tǒng)由于故障或危險而潛在故障的輸入或情況。例:內(nèi)存中的某個事件被單個事件破壞損壞了,這是一個錯誤。當(dāng)讀取存儲位置時,該故障將被激活,并導(dǎo)致計算錯誤,該錯誤會導(dǎo)致不正確或不安全的項目行為形式的故障。注意:錯誤緩解(例如錯誤檢測編碼)以及其他緩解措施可以防止激活的故障引起故障。4.2.3人工智能技術(shù)計算算法和其他技術(shù)的一般描述,包括歸納學(xué)習(xí),有意的非確定性行為,基于規(guī)則的系統(tǒng),計算機(jī)視覺,啟發(fā)式搜索和其他技術(shù)。這些通常稱為“人工智能”技術(shù)。注意:該術(shù)語旨在作為廣義解釋的描述性術(shù)語,以涵蓋通常不適合于Al之前的軟件安全方法的軟件。是否實際涉及實際的“智能”是超出本標(biāo)準(zhǔn)范圍的問題。構(gòu)造滿足特定要求的安全案例(包括主張,論據(jù)和證據(jù))。由此產(chǎn)生的論據(jù)表明,證據(jù)支持了這些主張。例:“開發(fā)人員應(yīng)辯稱所有危險已得到緩解”指示開發(fā)人員在安全案例中包括主張,論點(diǎn)和證明每種危險實際上已得到緩解的證據(jù)。一個或多個執(zhí)行評估的人。審查和評估安全案例。4.2.7自動化的無需人工監(jiān)督或干預(yù)即可操作。2020年4月1日UL4600174.2.10(系統(tǒng)的)脆性4.2.11(系統(tǒng)的)混沌4.2.14危險等級4.2.15示范4.2.19故障模型執(zhí)行故障分析時要考慮的所有故障(及其類型)的規(guī)范。4.2.20現(xiàn)場工程反饋從系統(tǒng)操作中獲取數(shù)據(jù),以支持安全案例并識別潛在的安全案例問題。創(chuàng)建一個響應(yīng)于子句的指定類別,屬性或子句其他方面的枚舉列表,并具有足夠的特異性以啟用評估。(備用字詞形式:標(biāo)識)發(fā)生可能導(dǎo)致?lián)p失事件的安全相關(guān)故障注意:事故不一定會導(dǎo)致?lián)p失事件。在其他情況下,事件可能導(dǎo)致?lián)p失事件就足夠了。例:汽車未能在停車標(biāo)志處停車。沒有交叉路口,因此沒有碰撞結(jié)果。如果存在交叉路口,則可能發(fā)生碰撞。即使沒有發(fā)生丟失事件,這也是一個事件。注意:所有損失事件也是事件。因此,短語“事件”等同于“事件和損失事件”。4.2.23獨(dú)立(失敗)沒有相關(guān)的,共同的原因和/或共模故障情況的兩個或更多個故障遏制區(qū)域(FCR)。注意:假設(shè)隨著時間的推移沒有累積故障,則可以通過無條件概率的簡單乘積來表示同時發(fā)生故障的概率。4.2.24獨(dú)立(審查和評估)沒有直接激勵并且沒有實質(zhì)性間接激勵影響評審或評估過程結(jié)果的評估者或?qū)徍苏?另請參見17.3.2)。評估符合UL4600的產(chǎn)品,元素,系統(tǒng)系統(tǒng)或其他與產(chǎn)品相關(guān)的范圍。注意:“項目”可能需要包括基礎(chǔ)架構(gòu),場外計算,場外數(shù)據(jù)存儲,開發(fā)流程,生命周期支持流程,供應(yīng)鏈質(zhì)量保證措施以及其他確保超出已部署產(chǎn)品本身邊界的安全性的方面?!绊椖俊笨梢园ㄕ麄€產(chǎn)品,也可以僅包括產(chǎn)品的一部分,但是無論如何都將包括項目中包含的部分產(chǎn)品的一致性所需的所有方面。4.2.26生命關(guān)鍵系統(tǒng)的一個方面,丟失事件可能會導(dǎo)致人員傷亡。2020年4月1日UL460019注意:嚴(yán)格來說,這是一個嚴(yán)重性概念。即使開發(fā)人員認(rèn)為由于操作中不大可能發(fā)生相關(guān)風(fēng)險較低,危害也可能是生命危險的。人身死亡,人身傷害,動物死亡,動物傷害,財產(chǎn)損失,環(huán)境損害或其他重大不利后果。注意:哪些損失被認(rèn)為是不利的,取決于系統(tǒng)。然而,人的死亡和重大的人身傷害總是被認(rèn)為是不利的損失。注意:安全案例可能會選擇將因項目失敗而導(dǎo)致的財務(wù)成本也視為“實質(zhì)性不良后果”。注意:“損失事件”通常對應(yīng)于FAA8056.但是,術(shù)語“損失”用于避免對責(zé)任和可預(yù)見性的任何先入之見。降低到可接受的風(fēng)險水平。注意:可接受風(fēng)險的級別取決于所減輕的特定風(fēng)險的嚴(yán)重性(例如,對生命至關(guān)重要而不是對生命至關(guān)重要)及其對安全案例中確定的項目級別風(fēng)險的貢獻(xiàn)。只要認(rèn)為存在的風(fēng)險低到可以接受的程度,而無需采取明顯的緩解措施,則可以將風(fēng)險降低到可以接受的低水平。“緩解”一詞等同于“可接受緩解”的概念。(請參閱“可接受的”定義。)除非采取緩解措施(如果有),并且已更新有關(guān)緩解的安全案例論據(jù)(“跟蹤至關(guān)閉”),否則不會認(rèn)為風(fēng)險已得到緩解。“可接受的風(fēng)險”是指已部分緩解(或沒有緩解)的風(fēng)險(請參閱第5.5.1節(jié))4.2.29非確定性注意:不確定性可能是由實時調(diào)度擾動,使用偽隨機(jī)算法或其他因素引起的。也可以看看:混亂的4.2.30運(yùn)營設(shè)計領(lǐng)域(ODD)該項目旨在在其中運(yùn)行的一組環(huán)境和情況。這不僅包括直接的環(huán)境條件和地理限制,而且還包括對該環(huán)境中將發(fā)生的一組對象,事件和其他條件的表征。項目ODD的托管部分。例:全天候ODD分為天氣,雨天和雪/冰的子集。注意:可以定義一個ODD子集來劃分操作空間以簡化設(shè)計任務(wù),通過隨著時間的推移添加其他子集來支持分階段部署,或者管理復(fù)雜性。潛在的大變化ODD。安全案例可能會針對安全案例的某些方面獨(dú)立地爭論每個ODD子集。超越內(nèi)置自測(BIST)功能來檢測潛在故障的測試。注意:過去,證明測試是指機(jī)械測試,例如壓力測試容器或移動的緊急閥,這些操作在正常系統(tǒng)運(yùn)行期間無法完成。它們通常涉及行使故障安全措施,行使用于檢測故障的傳感器或進(jìn)行離線測試。組件,材料,耗材,軟件和項目其他方面的背景,尤其是賦予區(qū)別或質(zhì)量的背景。注意:在UL4600的上下文中,這是指確定COTS產(chǎn)品及其組件實際上提供了所需的功能,特別是不包括劣質(zhì)產(chǎn)品,假冒產(chǎn)品和其他“未經(jīng)批準(zhǔn)”的部件。這不同于提供可接受功能和其他版本控制活動的零件的變體。供應(yīng)鏈故障,其中組件供應(yīng)商會通過逐漸使用替代材料,替代組件,設(shè)計變更和/或取消保護(hù)性組件而逐漸降低組件質(zhì)量,同時顯然保持功能并滿足測試的參數(shù)值。損失事件發(fā)生的可能性和該損失事件的嚴(yán)重性的組合。注意:風(fēng)險通常是概率和嚴(yán)重性的某種加權(quán)組合,可能對概率賦予零或非線性加權(quán)。此定義并不意味著排除替代的但可比較的風(fēng)險表述。即使情況超出規(guī)格,仍可以繼續(xù)操作。例子:盡管收到不合規(guī)格的輸入,遇到ODD違規(guī),遭受組件故障以及遇到機(jī)器學(xué)習(xí)訓(xùn)練集中未表示的數(shù)據(jù),系統(tǒng)仍會繼續(xù)正?;蚪导夁\(yùn)行。注意:健壯性通常是程度的問題,而不是絕對的屬性。具有安全案例所定義的可接受的緩解后項目級風(fēng)險。有證據(jù)支持的結(jié)構(gòu)化論點(diǎn),提供了令人信服,可理解和有效的證據(jù),表明系統(tǒng)對于給定環(huán)境中的給定應(yīng)用程序是安全的。4.2.39安全案例偏差2020年4月1日UL4600214.2.40安全相關(guān)4.2.41元素脫離上下文(EooC)4.2.42安全績效指標(biāo)(SPI)注意:該術(shù)語類似于術(shù)語關(guān)鍵績效指標(biāo)(KPI),但特定于該項目的安一般術(shù)語參考(資料性):和分類法”,IEEETrans。《可靠和安全的計算》,2004年1月至3月,第1(1)頁1-23。4.3縮寫和首字母縮略語(信息性的)a)Al:人工智能e)DAL:設(shè)計保證水平f)DTC:診斷故障碼h)EooC:元素脫離上下文j)FMVSS:聯(lián)邦機(jī)動車安全標(biāo)準(zhǔn)(美國)k)GNSS:全球?qū)Ш叫l(wèi)星系統(tǒng)n)ISO:國際標(biāo)準(zhǔn)組織p)NDI:非開發(fā)項目t)SIL:安全完整性等級v)SPI:安全績效指標(biāo)x)瑞典文:軟件工程知識體系y)V&V:驗證與確認(rèn)V2V:車對車bb)V2X:車輛之間1)使用可接受的安全案例格式(請參閱第5.2節(jié))3)提供可接受的證據(jù)(請參閱第5.4節(jié))4)解決可接受的風(fēng)險(請參閱第5.5節(jié))5)闡述安全文化(請參見第5:6節(jié)_2020年4月1日UL460023例子:安全情況下總結(jié)了測試結(jié)果??筛鶕?jù)要求提供詳細(xì)信息和任何其他描述性證據(jù)。c)未進(jìn)行記錄或未提供的所謂安全案例的任何方面在執(zhí)行評估時均會被忽略。d)除非正在執(zhí)行元素脫離上下文(EooC)評估,否則安全案例將涵蓋產(chǎn)品及其生命周期的所有與安全相關(guān)的方面,包括定制和現(xiàn)成的組件,軟件和子系統(tǒng)。具體包括但不限于:1)感測器2)執(zhí)行器3)計算組件例子:計算硬件,操作系統(tǒng),庫4)車輛平臺用作添加“自治套件”的基礎(chǔ)例:附加的自動駕駛項目工具包評估要求確保在安全案例中已解決與基礎(chǔ)商用車輛相關(guān)的安全問題??梢钥紤]對平臺進(jìn)行以前的評估,但這可能會留下空白,除非將其專門用作自動駕駛汽車平臺評估為EooC。5)在線服務(wù)例:根據(jù)需要從云基礎(chǔ)架構(gòu)向運(yùn)營工具提供在線地圖服務(wù)器6)物流和維護(hù)支持7)假定的基礎(chǔ)設(shè)施支持e)沒有記錄和/或?qū)懴聛淼?,沒有應(yīng)要求提供給評估者的所謂安全案例的任何方面,都不能用于支注意:評估員可以考慮口頭陳述和不屬于安全案例的其他材料,以幫助評估過程,但不能用作評估例:開發(fā)人員口頭解釋了為什么特定的“提示”提示元素不適用的原因,但是這種解釋不是在實際的安全案例中,也不在安全案例所引用的任何文檔中。即使評估者可能認(rèn)為口頭解釋是合理的,但缺少關(guān)于該“需要”提示元素的安全案例偏差的書面解釋,也會導(dǎo)致發(fā)現(xiàn)不符合項。如果更新了安全案例,則可以糾正不符合項的發(fā)現(xiàn),但這不是評估者的責(zé)任。例:測試人員口頭指出測試是針對正在部署的特定配置執(zhí)行的。但是,實際測試過的配置文檔已丟失,無法合理確定地重建。在某種程度上,對于格式良好的安全案例而言,必須對所測試的配置進(jìn)行記錄,評估人員必須由于缺少文件而發(fā)現(xiàn)不符合要求,并且可能必須重新運(yùn)行測試。f)識別生命周期的任何初始部分,在此期間,安全論證無效例:該安全案例直到生命周期內(nèi)首次進(jìn)行公共道路測試時才適用。注意:這允許在完成原型開發(fā)和潛在的封閉式開發(fā)測試的同時完成安全案例。它無意允許在生命周期中任何時間對在公共道路上行駛的任何車輛提出符合性聲明。g)安全案例的變更管理強(qiáng)烈推薦-不適用推薦-不適用通過考慮分段一致性檢查來檢查一致性,包括在安全情況下可追溯地包括每個適用的提示元素。.1注意:編寫該標(biāo)準(zhǔn)是為了幫助構(gòu)建格式正確的安全案例。將需要采取其他措施來確保操作安全。例如,最終產(chǎn)品標(biāo)準(zhǔn)可能不僅需要符合該標(biāo)準(zhǔn),還需要符合涉及電氣安全,防火和被動乘員保護(hù)等主題的.2注意:該條款明確旨在要求一致性文檔包采用安全案例的形式。(即,除了行政事項以外,與評估本身有關(guān)的所有事情都是安全案例的一部分。)實際上,可能會使用各種文檔,存儲庫和工具來提供詳細(xì)信息,例如使單個工具或統(tǒng)一格式的數(shù)據(jù)集無法包含整個安全案例的證據(jù)。但是,評估要求能夠訪問任何此類材料以進(jìn)行評估。.3注意:通常,本節(jié)對安全性論證的結(jié)構(gòu)和內(nèi)容提出要求。其他主要部分通常會在確定安全案參考:MISRA“汽車安全論點(diǎn)指南”,2019年。5.2安全箱樣式和格式5.2.1安全案例應(yīng)針對索賠,論點(diǎn)和證據(jù)使用定義一致的格式。a)聲明和論點(diǎn)語法,語義以及所用任何圖形元素的定義注意:符號可能沒有正式定義的語義。但是,應(yīng)提供有關(guān)安全案例表示法和方法的最佳可用信息,以促進(jìn)在開發(fā)人員團(tuán)隊和評估人員之間盡可能統(tǒng)一的解釋。b)定義證據(jù)類型,格式,數(shù)據(jù)字典和使用的模式c)評估人員訪問完整的安全案例2020年4月1日UL4600251)評估者無法獲得的安全案例的要素不依賴于一致性評估。a)遵守安全案例中定義的格式b)評估者可以訪問任何與了解安全情況有關(guān)的可用瀏覽,搜索,報告和分析工具注意:實際上,開發(fā)人員和自審計人員可能會使用工具和其他支持,以使其更容易處理安全案例。這些相同的工具和其他支持可根據(jù)要求提供。c)確定有關(guān)論證歸納要素完整性的推理方法強(qiáng)烈推薦:a)使用既定手段以高度結(jié)構(gòu)化的方式組織安全案例,例如:1)OMG結(jié)構(gòu)化保證案例元模型(SACM)2)目標(biāo)結(jié)構(gòu)表示法(GSN)3)索賠論點(diǎn)證據(jù)(CAE)b)使用工具支持來輔助安全案例理解和導(dǎo)航a)將圖形界面用于安全案例導(dǎo)航的相關(guān)部分,以提高導(dǎo)航性b)使用基于結(jié)構(gòu)化文本的符號,而不是自由格式的文本,從而增加了提供工具支持的能力通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1注意:關(guān)于條款中的“一致”一詞,允許層次結(jié)構(gòu)參數(shù)的不同分支在原因范圍內(nèi)使用替代參數(shù)格式,尤其是當(dāng)參數(shù)適用于明顯不同的功能或子系統(tǒng)時。由于論證結(jié)構(gòu)的原始來源不同或需要使用更適合特定論證技術(shù)挑戰(zhàn)的技術(shù),因此替代方案可能有意義。如果使用了多個樣式,則適用于參數(shù)的每個部分的樣式都對應(yīng)一個明確指定的樣式。5.2.2所使用的證據(jù)應(yīng)符合已定義的可審核格式。強(qiáng)制性的:a)安全案例中使用的一組定義好的類型中每個證據(jù)的定義類型例子:模擬輸出文件,測試計劃,車輛數(shù)據(jù)日志注意:“類型”是指靈活的通用含義。但是,每組證據(jù)屬于已定義的類型(即使每組證據(jù)都是不同于所有其他證據(jù)集的唯一類型)。然后,根據(jù)下一個提示元素,將該類型與允許解釋證據(jù)的元數(shù)據(jù)b)每種證據(jù)的定義格式,至少包括:1)語法和語義,數(shù)據(jù)字段,元數(shù)據(jù)字段的定義注意:在給定證據(jù)類型和性質(zhì)的前提下,將語義定義為實用。2)規(guī)范證據(jù)的一致性,正確性和完整性,以使證據(jù)可審核3)驗證不是來自可接受數(shù)據(jù)的任何證據(jù)的確定方法例:可以通過整個項目生命周期中的數(shù)據(jù)收集來驗證主觀專家的判斷。例:專家認(rèn)為雷擊很少發(fā)生,以至于沒有相關(guān)性,因此可以作為忽略雷擊風(fēng)險減輕的證據(jù),理由是有論點(diǎn)認(rèn)為會記錄部署車輛上發(fā)生的任何雷擊,并將進(jìn)行定期分析以檢測雷擊是否發(fā)生?,F(xiàn)場數(shù)據(jù)中的頻率變得過于頻繁而無法忽略。(應(yīng)注意的是,有據(jù)可查的是,閃電確實確實會偶爾襲擊移動中的,占用的車輛,并且更合適的安全論據(jù)可能是采取某種形式的風(fēng)險緩解措施來確保緩解后的風(fēng)險是可以接受的。)必填-不適用強(qiáng)烈推薦-不適用a)用于解釋每種類型證據(jù)的描述性或教程示例b)避免將自由文本作為證據(jù)的數(shù)據(jù)類型通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1注意:該條款允許每個證據(jù)具有不同的定義類型。在可行的情況下,使用少量一致類型的證據(jù)有助于簡化安全案例,以提高可理解性。a)正確使用自然語言b)在主張和論點(diǎn)中使用一種自然語言注意:目的是在整個安全案例中使用的任何自然語言(除證據(jù)外)都應(yīng)使用一種適合項目設(shè)計團(tuán)隊使用的自然語言。證據(jù)可以2020年4月1日UL460027例子:使用以下短語檢測并進(jìn)行護(hù)理:“基本上是所有”,“應(yīng)該是”,“通?!崩樱骸皼]什么不同","可能不會發(fā)生安全的結(jié)果”推薦-不適用通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。5.3主張和論據(jù)充分5.3.1安全案例聲明應(yīng)涵蓋所有已識別的與安全相關(guān)的危害和風(fēng)險。a)以論據(jù)主張的形式定義項目安全要求1)預(yù)期功能的安全要求2)潛在意外功能的安全要求例:處于禁用維護(hù)狀態(tài)時,通過調(diào)度請求響應(yīng)進(jìn)行的車輛移動是意外的3)必須避免的不安全行為和狀態(tài)的安全要求注意:為了功能安全,通常通過危害分析來執(zhí)行此操作4)緩解項目本身的故障(包括設(shè)計故障和操作故障)的安全要求5)緩解故障,異常和未指定環(huán)境條件的安全要求6)生命周期考慮因素的安全要求,包括更新,檢查,維護(hù)和監(jiān)視不斷變化的操作環(huán)境b)將每個已識別的危害映射為可能違反至少一項相關(guān)安全要求c)確定每種已識別危害的可接受安全水平必填-不適用a)排除與已確定的危害和風(fēng)險無關(guān)的索賠注意:這是向后追溯的要求,以避免與商品安全無關(guān)的索賠。注意:對于EooC安全案例,可以接受以下假設(shè):將安全案例片段跟蹤到導(dǎo)出的EooC邊界接口,前提是至少EooC的某些用戶將具有更高級別的項目安全案例,從而可以完成對已識別危害和風(fēng)險的跟蹤關(guān)系。通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。2020年4月1日UL46002.1注意:本條款中使用的術(shù)語“權(quán)利要求”是通用術(shù)語,包括子權(quán)利要求。5.3.2安全案例論據(jù)應(yīng)支持所有已確定的主張。a)通過可接受的論據(jù)支持安全案例索賠b)確定用于確定論證充分性的標(biāo)準(zhǔn)a)在論證中使用認(rèn)知失敗者注意:其他條款中的許多提示要素是認(rèn)識上的失敗者。另外,對每個自變量子樹的審查可以包括關(guān)于任何其他認(rèn)知失敗者是否適用的考慮。b)陷阱:在沒有具體描述合格性評估的局限性的情況下,將其視為對安全性標(biāo)準(zhǔn)的認(rèn)可就容易導(dǎo)致對安全屬性的過度評價。(")注意:實際上,這是一個論點(diǎn)缺口,不支持所確定的主張。另請參閱第5.7節(jié)。c)陷阱:遵守為人類操作設(shè)備設(shè)計的安全標(biāo)準(zhǔn)的信譽(yù)容易導(dǎo)致隱含在自主性上的故障管理控制義注意:這是前面的陷阱所涉及到的安全評估例:在評估ISO26262符合性時,對自駕車的可控制性給予了認(rèn)可,這對自主功能施加了相應(yīng)的可控制性義務(wù),以行使相同級別的控制。如果不解決這一陷阱,可能會錯過為人類提供替代品以提供作為ISO26262ASIL分配的一部分而假定的可控性的需要。a)避免包含不支持已確定主張的論點(diǎn)b)避免包括不支持論點(diǎn)的證據(jù)通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1參考:(*)有關(guān)陷阱的一般信息:Koopman,P.,Kane,A.&Black,J.,“可信自主安全論點(diǎn)”,“安全關(guān)鍵系統(tǒng)研討會”,英國布里斯托爾,2019年2月。5.3.3安全案例應(yīng)避免爭論的缺陷。強(qiáng)制性的:a)確定候選人相關(guān)的邏輯謬誤注意:這導(dǎo)致在安全情況下要避免邏輯錯誤的清單。b)確定候選人相關(guān)的修辭手法a)避免發(fā)現(xiàn)邏輯上的謬誤b)避免使用確定的修辭手法c)陷阱:為在不同的操作環(huán)境或不同的目的中使用的經(jīng)過驗證的使用過的技術(shù)而信譽(yù),很容易使1)該陷阱具體包括COTS,舊版和EooC組件,包括硬件和/或軟件(注意:見13.4節(jié))2)該陷阱專門包括可能與組件相關(guān)的項目操作參數(shù)的更改例:Lions,J.L.,阿麗亞娜5航班501失靈,咨詢委員會的報告,1996年d)陷阱:由于沒有以前的故障,所以在現(xiàn)場工程反饋中減少故障的可能性很容易歸因于折減多個故障,這些故障如果被視為一組,則實質(zhì)上證明了安全案例的無效性。(*)e)陷阱:爭論基于人為操作項的數(shù)據(jù)進(jìn)行的自主故障分析很容易1)由操作情況觸發(fā)的故障,自治項目可能會進(jìn)入,操作員通常會避免2)自主項目故障可能觸發(fā)的非人為錯誤的典型故障f)陷阱:基于事件(“意外”或其他潛在故障)的到達(dá)率,通過分析操作數(shù)據(jù)和/或測試數(shù)據(jù)來減輕1)忽略了不同類型根本原因的均值分布的其他復(fù)合因素示例:項目失敗的不同類型觸發(fā)事件的平均到達(dá)率的重尾分布2)忽略偶發(fā)但不可避免的常見原因事件的潛在影響g)陷阱:基于人為設(shè)計的測試計劃爭論測試范圍很容易忽略適用于自主功能的邊緣情況,但操作員h)陷阱:根據(jù)形式方法的使用來論證項目的正確性,很容易忽略證據(jù)所依據(jù)的基本假設(shè)中的任何無UL4600強(qiáng)烈推薦-不適用推薦-不適用點(diǎn)”,“安全關(guān)鍵系統(tǒng)研討會”,英國布里斯托爾,2019年2月。強(qiáng)烈推薦-不適用推薦-不適用點(diǎn)”,“安全關(guān)鍵系統(tǒng)研討會”,英國布里斯托爾,2019年2月。必填-不適用2)分析數(shù)據(jù)3)程序定義推薦-不適用2020年4月1日UL460033.2注意:參數(shù)結(jié)構(gòu)可能包含子參數(shù)和其他支持信息。但是,每個論點(diǎn)分支最終都可以追溯到支持證據(jù)的至少一個要素,該要素在范圍上可以廣泛接受以支持提出的權(quán)利要求。證據(jù)不直接或間接(通過子參數(shù))不支持的參數(shù)無效。5.4.2論點(diǎn)應(yīng)包括證據(jù)的有效性。a)安全案例記錄基于數(shù)據(jù)收集的實驗設(shè)計或其他數(shù)據(jù)收集策略以作為證據(jù)b)確定用于確定證據(jù)充分性的標(biāo)準(zhǔn)c)爭論證據(jù)足以得出可接受的安全案例1)描述使用證據(jù)來支持或反駁論點(diǎn)和/或主張的有效性的方式。2)關(guān)于減輕確認(rèn)偏見風(fēng)險的爭論a)完全或部分基于以下任何證據(jù)對生命周期進(jìn)行監(jiān)控:1)沒有專家或主觀意見的支持2)數(shù)據(jù)不支持且書面公共標(biāo)準(zhǔn)文件,公共指導(dǎo)文件或類似引用的源不支持的現(xiàn)有實踐3)假設(shè)條件注意:生命周期監(jiān)視用于監(jiān)視風(fēng)險,使其達(dá)到論點(diǎn)依賴于觀點(diǎn),假設(shè)或潛在的弱證據(jù)的程度。b)確定認(rèn)知上的失敗者以及伴隨的可廢除性論據(jù),至少包括:1)可能混淆實驗變量2)數(shù)據(jù)中的潛在偏差3)數(shù)據(jù)樣本數(shù)量可能不足a)包括反證和附帶的論點(diǎn)b)包括與證據(jù)創(chuàng)建相關(guān)的流程合規(guī)性論證c)證據(jù)的生命周期監(jiān)控基于基于共識的公共標(biāo)準(zhǔn)方法a)使用對抗性順序測試設(shè)計方法來最大化識別ODD內(nèi)的故障模式和/或緊急行為的機(jī)會通過檢查安全論據(jù),證據(jù),證據(jù)收集設(shè)計和設(shè)計記錄來檢查是否合格。.1注意:實際上,該子句可能導(dǎo)致以下形式的參數(shù)結(jié)構(gòu):參數(shù)是有效的,因為(1)有證據(jù)支持,并且(2)證據(jù)本身是有效的。有效證據(jù)至少由客觀事實數(shù)據(jù)支持。.2注意:有效地收集了潛在的認(rèn)知失敗者和可能收證更有可能相關(guān)。選擇指南由本標(biāo)準(zhǔn)中的提示元素提供,并由開發(fā)人員的經(jīng)驗提供補(bǔ)充信息。.3注意:不受支持的專家意見包括領(lǐng)域?qū)<业年愂?,但未得到所提供證據(jù)的實質(zhì)性支持。只要基于該基礎(chǔ)作為證據(jù)的一部分,并且明確主張所引用作品的實驗性上下文適用于其在文獻(xiàn)中的使用,就可以認(rèn)為直接基于學(xué)術(shù)論文,實質(zhì)性數(shù)據(jù)等得出的觀點(diǎn)在此意義上是受支持的。安全案例。5.4.3證據(jù)有效性的支持應(yīng)涵蓋該項目難以復(fù)制的方面。a)根據(jù)證據(jù)確定項目的任何不確定性和混亂方面(如果沒有,則說明)a)減輕因項目及其操作環(huán)境的不確定性而導(dǎo)致的無效風(fēng)險的論點(diǎn)和證據(jù)(如果沒有,請陳述)例:使用并發(fā)管理機(jī)制來緩解對時間敏感的并發(fā)訪問錯誤,使用種子化的偽隨機(jī)數(shù)生成器來重現(xiàn)故意的不確定性行為,以測試可重復(fù)性。例:故障注入曾經(jīng)使元件失效,否則在測試期間該元件很少會失效。b)減輕因物品及其操作環(huán)境混亂而導(dǎo)致的無效風(fēng)險的論據(jù)和證據(jù)(如果沒有,則說明)例:當(dāng)項目行為基于較小的輸入差異而發(fā)生顯著變化時,測試可重個具體示例是,當(dāng)障礙物正好出現(xiàn)在前方時,車輛是向左還是向右轉(zhuǎn)向。c)所使用的任何度量均符合與SPI度量有關(guān)的特征(請參見第16節(jié))。a)統(tǒng)計意義方法的使用推薦的:2020年4月1日UL460035a)使用數(shù)字雙胞胎或類似技術(shù)通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1注意:非確定性意味著在相同的初始條件下(例如,由于使用了偽隨機(jī)算法),商品可以以不同的方式表現(xiàn)?;煦缫馕吨捎诔跏紬l件下的擾動,該項目可以以不同的方式表現(xiàn),而初始條件的擾動小于驗證方法的控制能力。例如,不確定性和混亂性都會導(dǎo)致對測試的響應(yīng)不同,但都是由不同的來源引起的。一個項目可以是不確定的,也可以是混亂的。如果確認(rèn)存在任何一種原因,則不必區(qū)分這些原因,但是在確定證據(jù)的有效性時必須考慮兩種可能性的緩解。如果由于特定測試運(yùn)行中有利的系統(tǒng)行為而偶然通過了測試,則不確定性和混亂行為會破壞測試結(jié)果的有效性和完整性。5.5.1應(yīng)確定可接受的風(fēng)險。a)確定未完全緩解的任何風(fēng)險的接受標(biāo)準(zhǔn)。a)將未完全緩解到可接受水平的任何風(fēng)險識別為“可接受風(fēng)險”。這些包括但不限于:1)未采取緩解措施的風(fēng)險例:被確定為極不可能或不可能在“現(xiàn)實世界”中發(fā)生的項目級安全評估潛在危害是可接受的風(fēng)險,并作為未緩解的風(fēng)險包含在安全案例中。2)部分緩解的風(fēng)險(即未降低到完全可接受水平的風(fēng)險)3)未知風(fēng)險例子:“未知的未知數(shù)”,“未知的未知數(shù)”4)緩解風(fēng)險的依據(jù)是不受支持的專家意見,假設(shè)或其他不盡人意的證據(jù),并且也與標(biāo)準(zhǔn)文件等公認(rèn)的行業(yè)慣例不符b)對于未完全緩解的風(fēng)險(包括可接受的風(fēng)險),可以描述緩解水平,并認(rèn)為在項目安全案例中,緩解水平(如果有)是可以接受的。1)包括對整個項目生命周期中每種此類風(fēng)險的預(yù)期結(jié)果的評估。強(qiáng)烈推薦:a)緩解后的風(fēng)險級別表征,可以認(rèn)為已完全緩解。推薦-不適用通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1注意:這包括對任何剩余的未知風(fēng)險的接受,如果有信息可以支持,則應(yīng)將其細(xì)分為幾類(例如“已知未知數(shù)”)??梢岳斫?,這些風(fēng)險可能無法輕易量化,但是在做出部署決策時,這些風(fēng)險已被接受。5.5.2應(yīng)通過現(xiàn)場工程反饋在項目生命周期中跟蹤可接受的風(fēng)險強(qiáng)制性-不適用a)針對可接受風(fēng)險的現(xiàn)場工程反饋,以確保實踐中的風(fēng)險小于或等于作為項目操作的預(yù)期結(jié)果陳述的風(fēng)險水平b)現(xiàn)場工程反饋明確考慮了由于風(fēng)險分析方面的差距而產(chǎn)生的風(fēng)險a)自動收集事故和損失事件的現(xiàn)場數(shù)據(jù),以確定每個風(fēng)險的可接受風(fēng)險結(jié)果是否在預(yù)期范圍內(nèi)符合性:通過檢查安全性論據(jù),證據(jù)和設(shè)計記錄來檢查是否合格。.1注意:一種示例方法是在安全案例中包括“未知風(fēng)險”,將其稱為“已接受風(fēng)險”,說明為什么已執(zhí)行可接受風(fēng)險分析以允許接受由此產(chǎn)生的風(fēng)險,并辯稱根本原因分析程序明確包括識別新風(fēng)險以便在野外遇到時及時將它們添加到安全案例中。5.6安全文化5.6.1必須確定開發(fā),供應(yīng)鏈,維護(hù)和運(yùn)營的安全文化在風(fēng)險識別和緩解中的作用。a)安全文
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度采購合同的貨物描述、數(shù)量和質(zhì)量標(biāo)準(zhǔn)2篇
- 個人與個人之間2024年度房屋裝修合同2篇
- 學(xué)校轉(zhuǎn)讓合同案例
- 紹興水上樂園租賃合同
- 鋼結(jié)構(gòu)工程腳手架安裝分包合同
- 專項會計問題解決合同(精簡版)版B版
- 二零二五年度股權(quán)轉(zhuǎn)讓合同涉及高科技企業(yè)
- 2025年度汽車報廢回收合同模板2篇
- 二手商鋪租賃協(xié)議:商家與房東權(quán)益保障樣本版B版
- 2025年微信小程序功能更新維護(hù)合同3篇
- 2025年四川省政府直屬事業(yè)單位招聘管理單位筆試遴選500模擬題附帶答案詳解
- 2024年物業(yè)公司服務(wù)質(zhì)量保證合同條款
- 文言文閱讀之理解實詞含義(講義)-2025年中考語文專項復(fù)習(xí)
- 豪邁CutRite V9板材優(yōu)化軟件學(xué)習(xí)教材
- 臨床三基考試題庫(附答案)
- 醫(yī)學(xué)課件三叉神經(jīng)痛3
- 2024年全國職業(yè)院校技能大賽高職組(智能節(jié)水系統(tǒng)設(shè)計與安裝賽項)考試題庫-上(單選題)
- 鷓鴣山隧道瓦斯地段專項施工方案
- HG∕T 2058.1-2016 搪玻璃溫度計套
- 九宮數(shù)獨(dú)200題(附答案全)
- 泌尿科一科一品匯報課件
評論
0/150
提交評論