蔚來座艙多模態(tài)大模型的應(yīng)用實(shí)踐-蔚來汽車+牛建偉

蔚來多模態(tài)大模型的價(jià)值定位聽覺模態(tài)模型的技術(shù)實(shí)踐聽覺模態(tài)模型的技術(shù)實(shí)踐MLLM在蔚來座艙中的定位n多模態(tài)大模型是智能座艙3.0的底層核OMV3.0iOMV3.0i①小屏-GUI交互■③基礎(chǔ)語音交互上車礎(chǔ)艙內(nèi)視覺感知能力上車S/DMS/手勢(shì)/守衛(wèi)模式V2.0MLLM在蔚來座艙中的定位DMS/OMS/DMS/OMS/守衛(wèi)構(gòu)建有關(guān)懷的智能座艙空間蔚來MLLM的技術(shù)路徑蔚來MLLM的功能展示帚簸箕在愛車前方打掃衛(wèi)生。?多模交互--語音手勢(shì)互動(dòng)?情景智能--自適應(yīng)閱讀燈視覺模態(tài)模型的技術(shù)實(shí)踐--模型方案?通用視覺編碼器--理解通用視覺概念、進(jìn)行高維語義抽象?OCR視覺編碼器--理解視覺文本內(nèi)容、增強(qiáng)細(xì)小物體特征?多尺度特征融合--引入視覺先驗(yàn)知識(shí)、多維特征自適應(yīng)增強(qiáng)?動(dòng)態(tài)Token壓縮--冗余視覺信息消除、挖掘有效視覺上下文?大語言模型--充分利用LLM的理解、推理和涌現(xiàn)能力Step1:預(yù)訓(xùn)練階段對(duì)齊視覺語言模態(tài)的隱特征空間。Step2:監(jiān)督微調(diào)階段利用LLM增強(qiáng)視覺概念的理解和視覺語義的推理。Step3:偏好對(duì)齊階段針對(duì)特定場(chǎng)景的輸出對(duì)齊并消除視覺模態(tài)的幻覺。視覺模態(tài)模型的技術(shù)實(shí)踐--數(shù)據(jù)構(gòu)建關(guān)系矯正四個(gè)步驟。?動(dòng)態(tài)分辨率視覺編碼器，可以同時(shí)提取任意分辨率圖像?OCR-SensitiveViT在以文本為中心的視覺任務(wù)上表現(xiàn)出優(yōu)越的效果，但在通用視覺內(nèi)容理解上處于劣勢(shì)；?通過融合2個(gè)ViT的視覺特征，可以較好地均衡不同ViT的心的視覺任務(wù)上均達(dá)到最優(yōu)效果；語音數(shù)據(jù)，基于W2V-BERT2.0算法方案訓(xùn)練語音編碼多語種ASR結(jié)果語語語子端側(cè)部署方案介紹---系統(tǒng)交互NIO-MLLMArch懂我問候魔法氛圍燈人車互動(dòng)手勢(shì)互動(dòng)懂我問候魔法氛圍燈人車互動(dòng)手勢(shì)互動(dòng)兒童陪伴chip>50token/s>90token/s端側(cè)部署方案介紹---現(xiàn)狀與挑戰(zhàn)?內(nèi)存：僅有幾個(gè)～幾十個(gè)GB的有效內(nèi)存度度文字建議字體中文字體：微軟雅黑文字建議字體中文字體：微軟雅黑為保證文件兼容性，如無特殊情況，請(qǐng)勿使用其他藝術(shù)字體英文&數(shù)字字體Arial使用專有的英文字體可以使版面更加美觀，可以讓強(qiáng)調(diào)的英文&數(shù)字細(xì)節(jié)顯示更優(yōu)美，經(jīng)得起放大細(xì)看考慮到工作效率，非重要的文件無需考慮此項(xiàng)，而對(duì)文本中的英文數(shù)字單獨(dú)設(shè)置字體。字號(hào)標(biāo)題字號(hào)：28*可以多使用8為尾數(shù)的字號(hào)，如：18、28、48、68，方便記憶，統(tǒng)一字號(hào)正文字號(hào)：12通常演示文稿業(yè)務(wù)匯報(bào)文件中的文本較多，12號(hào)的字體可以展現(xiàn)更多的內(nèi)容；且演示文稿的使用場(chǎng)景為桌面端、受眾年齡適中，為呈現(xiàn)更好的閱讀體驗(yàn)，正文應(yīng)慎重使用更大字號(hào)TIPS：善用格式刷，快速出