版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
機(jī)器人的從古至今公元前9世紀(jì)機(jī)器人的從古至今公元前9世紀(jì)???Ф?????ыЭ澞????桵?????????????澞?????????澞??О?ыЭ???????Ф澞??????д▲З??偃???ы澞偃???д▲З??ы???ы??嶃?О?????д??в????澞З??ы??????澞???????????????????決決?澞33機(jī)器人的從古至今公元前4世紀(jì)機(jī)器人的從古至今公元前4世紀(jì)?????????▲???嘜???????????О“鴿子”澞?匜??▲?йф?嘜??44????·?·???1495???ды???ы??澞????О???????ы????澝???澝???????澞??????▲?????ыUnimate??й???1973?,KUKA????????▲???З????????ы?FAMULUS醫(yī)療微創(chuàng)機(jī)器人物流?????ы??????????88運(yùn)動(dòng)控制型機(jī)器人智能機(jī)器人1972200020082013世界第一臺(tái)全尺寸人形機(jī)器人人形運(yùn)動(dòng)能力重大進(jìn)步人形機(jī)器人成功商業(yè)落地人形動(dòng)作能力邁入新紀(jì)元WABOT-1?????????坁???▲45???Э??10??ASIMO?????????????????澝???澝??????Aldebaran?????????暉??ы???ыNAOAtlas??ы????????????????????99?????ы??????????!像人類一樣工作的機(jī)器人?各方面強(qiáng)于人類的機(jī)器人??—20?60??????ы?????????數(shù)學(xué)證明口20?60??—70??????????????口20?70???—80??И???專家系統(tǒng)處理醫(yī)療、化學(xué)、地質(zhì)等特定領(lǐng)域??口20?80??И??И???????????????口20?90??И???????????Ф????Ю?й圖像、文本、語(yǔ)音等信息處理?Ф???????????大模型√一定的自主能力?З????ы?????П??О?ы???ы????ы???ё??????????????????口????????大模型???????人形機(jī)器人???????智能機(jī)器人?人工智能真的讓機(jī)器人智能了嗎?先要說(shuō)明的問(wèn)題:2D視覺(jué)信號(hào)或語(yǔ)音信號(hào)2D視覺(jué)信號(hào)或機(jī)器人軀體的所有硬件結(jié)構(gòu)機(jī)器人軀體的所有硬件結(jié)構(gòu)觸覺(jué)信號(hào)或力反饋信號(hào)>???????????????????????????觸覺(jué)信號(hào)或力反饋信號(hào)>??????????▲?????????(具身推理)位姿信號(hào)>?????????>?????????>????>?????????????????澞??????????>??????????▲?????????(具身推理)機(jī)器人視覺(jué)傳感器信號(hào)>?>?????????1.扶正杯子并拿起杯蓋手掌如何運(yùn)動(dòng)、腿部如何運(yùn)動(dòng)等3.用抹布擦拭地面>???>?????????5.將杯子和杯蓋扔掉回到問(wèn)題:2D????3Dк???????ы彴????????????????????我們已經(jīng)能造出具備基本性能的機(jī)器人硬件和高還存在諸多問(wèn)題還存在諸多問(wèn)題軟件及算法方面:>???>???????????????????????????>??????????▲?????????(具身推理)>?????????>?????????>?????????????????澞??????????????LLaVA????請(qǐng)標(biāo)記出抓握?qǐng)D請(qǐng)標(biāo)記出抓握?qǐng)D中插著花的花瓶的位置這是什么?如何打開(kāi)它?人的一些手勢(shì)是什么意思?>??????????▲?????????(具身推理)>??????????▲?????????(具身推理)П??????????>???????????й???????????????多模態(tài)大模型擴(kuò)散小模型????Щ??????60%~70%????????90%?????????技能?場(chǎng)景?物品?位置???泛化能力泛化能力??й????API???API???????д▲??????Д??????????И?澞???口?????И?????澝??口?????????????И??????????口???????????????И??????????口?????口定義▲??й????????????????????сл????澝?????????????ф???О????澞????澝????澝?????口實(shí)質(zhì)???物理身體??????物理環(huán)境?сл??????澝????澝?????????澝???сл??????Ю?????????Ю?????????????b)),???????????測(cè)物物人人任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答??й???й???й??й?Ю口??ы???????????????????О???????????????????О???О?????口??ы???????????????????О??口???口????澝敂?????????????????口?О??口??澝ы???澝ы??О??口??????澝??????????ы????ы澝ы????????ы澝?с????ы澝????ы???????П?????????/?????/?/???????????????3D??????澝?????澝???3D??????澝?????澝?敂?????澝??澝сл??澝???????????????П??澝П???澝???????йсл??澝????澝????????П?й2D?????????澝??澝ы??О???с??澝??澝ы????О??П?й?????????澝?????????????RGB??3D????????????…口?й3D?И????????口?????????口[1]https://adioshun.gitbooks.io/deep_drive/conte數(shù)據(jù)格式描述來(lái)源編碼方法к▲??З?3D?????LiDARPointNet?PointNet++??й澝???????????CAD?澝кMeshNet??▲?????З??????澝?????кVoxelNet澝DeepSDF澝OccupancyNetwork??О2D?З???▲З???????澝?????澝ToF??GVCNN?й???????к??????к?????澝З???口PointNetОк?????????????????д???йMLP???З???????????????????????口??к????????йMLP?CNN??????口PointNet澝MeshNet澝VoxelNet?3D??????????йCVИ?2D???口Ф?PointNet澝MeshNet??3D??О??????????????▲З????????О?????????????澞З?????囓?????????澞О????SDF???й▲З????Code?О????口??йDeepSDF??▲З????????З?????????OccupancyNetwork?????????▲З?????????????О???????????????口???????▲З???И?????????????????????????О??????口?????CAD?????????????О?????????CAD?????????И???????口??????????CAD?И??????? ???????п??????????????????????И▲З???????И?????????????????????▲ЗИ??????????口??▲З??▲З?x?y?z?????????И??澞????▲З?????И????З????x?y?z?澞mask???x?y?z????З?????И???????????口CNN??澝??Mask澝???口?????????????ы?ы?????????????????????эТ???????????????????????????ОИ?????????澝?????????????????У?澞口????澝???Фй???NLP????T5?▲????????口??О?▲З???????ы????????????????У???Ю????3D????????2D??????????????СФ???????3D????口????????3D??????????????????й??Ю????3D?????к????????????йк??????????к/?????????????к/????????3D??????????????CG?И????????????????????▲З????????Э????3D???????????????CGИ3DGS??й??ы??口???????й???????????????????й?????????З7??????口????????????????????????口???GraspNet???З???????????????口?й3D?И????????口????к澝??澝?澝??????????????????????口[1]https://adioshun.gitbooks.io/deep_drive/conte口敂?????口??????????????口敂???????????敂?????????澝??口??????????????ПО?澝????????????????????敂??澞敂?????????????????口敂???ПОURDF????У???澝??????У?敂??????П?口?????e.g.AKB-48???3D????敂????口敂???????П?????口З?????????口З????????????????澝??澝?????????澝??澝??????????澝??????口▲З??敂????й??ы??敂?口Д?敂?????????????????口???????????ДЗ???????敂?????йRGBD??敂??澞口????ПО?????????????О???????口???????????????????澝?????澞口??О????????澝?????????????code??????▲З???????敂???????????????????????????口???????????????????敂codeО????З???口???????П?????????йП?й3D??口??3D????????????????????й??▲??О??????????О???????П?сл?????????口敂????ы?Й??????????????澞?Ф???????交互感知澝物體可供性預(yù)測(cè)Д?口сл????ы????сл???????????????ы?????口Ф??????й?????敂???????????сл?О???敂??口????к?О????й??????????URDF??口??ы?????й??URDF??????????????????????????????й?????URDF??????????????口?й????????????▲З??????п???????Э???й??????▲З?????▲З?????澝???й??кИ▲З??1???????2?????3?????й???ы????▲З??????????????口?й3D?И????????????к澝??澝?澝?????????????????????[1]https://adioshun.gitbooks.io/deep_drive/conte口??????????口?????????????3?????3?????口?????口??澝??…??????口????壝??????к口??????????Ю????????????У?????????????交互?????????口?У?е??ы???????Фсл???口??口?????幾何理解口???И??語(yǔ)義理解??口?????И????澝???У澝?????????ИЗ????????У口????к澝??澝?????澝??場(chǎng)景認(rèn)知場(chǎng)景表示原始信息場(chǎng)景認(rèn)知場(chǎng)景表示原始信息構(gòu)建形成抽取構(gòu)建形成場(chǎng)景信息獲取場(chǎng)景重建場(chǎng)景理解對(duì)象實(shí)現(xiàn)傳統(tǒng)SLAM對(duì)象實(shí)現(xiàn)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)紅外????難利用??????口?????И??????И???У??И?????????ИЗ????????У????????口??????口к澝??澝????????????ы???????????????/????????????????????????????????????????? ? ???й????????й???????й???????????й???????????й??????????????場(chǎng)景認(rèn)知原始信息場(chǎng)景認(rèn)知原始信息場(chǎng)景表示場(chǎng)景表示構(gòu)建抽取形成構(gòu)建抽取場(chǎng)景信息獲取場(chǎng)景重建場(chǎng)景理解對(duì)象實(shí)現(xiàn)傳統(tǒng)SLAM對(duì)象實(shí)現(xiàn)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)紅外????難利用?????????SLAM???????????ы????????????????????????????И???口口??SLAM??口口??????SLAMSLAM口????Ю??SLAM??口口口???口???口???Ю???SLAM???Ю????SLAM?????口口?????SLAM????У?????У??口?У?????й??Ю???ПОSLAM??自我優(yōu)化?迭代??????????????口?SLAM口??ы?ы???????У?????й??????????口П?SLAM口??ы???П?????????????????ы?П??▲??????????????ы?П????????????????юю???傳統(tǒng)SLAM主動(dòng)SLAM??????????????????CV澝NLP澝CG??????????????口3D????ы??И???Ю???й?О???йсл??й????ы?Т?口??сл???И▲?7?????口??敂?澝П??澝П???口????????????????????О????????сл??口П????????▲З?????NestBestView??????????????????????????澝??ы???????????й?????????▲З????RL????????????????????澞??????????????????????NBV??????NBO??????????????????????????????П???[1]Liu,etal.Object口П????????И??????????????ы??????口???????????Activeneurallocalization?????????Ю?????????????????????????О?????????????????у?????????Ф????????????澝??澝????У?????口П?????口??口???????????????О?????И?????????????п??Ф??場(chǎng)景認(rèn)知原始信息場(chǎng)景認(rèn)知原始信息場(chǎng)景表示場(chǎng)景表示構(gòu)建抽取形成構(gòu)建抽取場(chǎng)景信息獲取場(chǎng)景重建場(chǎng)景理解對(duì)象實(shí)現(xiàn)傳統(tǒng)SLAM對(duì)象實(shí)現(xiàn)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)???視覺(jué)信息新方法新任務(wù)新表示深度學(xué)習(xí)主動(dòng)映射主動(dòng)定位拓?fù)浣Y(jié)構(gòu)場(chǎng)景圖激光信息觸覺(jué)超聲雷達(dá)信息化學(xué)易利用????聽(tīng)覺(jué)紅外????難利用?????????????????口???????????澝????О????????????ю?????????Ф???????Ф???????????????口???澝П?????口п??????????ы???сл??????????сл????????????????口?????????????И?????????????????????????????????????????????????口SeeingbyMoving?ы??????▲??????З???????????ы?????П????З??????口???ы????И?Ю??????????????Ю??Ю?О????П??????口??????????????????▲З??ы?ДЗ????????????Ф??????澞?????И??口????口CSRП????????????????????????????????????????????DCA-Det??口4D??????PSG-4D????д????????О????И???????????3D???И澞?????????й?????????口??й??澝???????ы???ы??О??口????口??????口ы??О??口??ы?ы??О????йы?сл???с??口ы???口????????Иы???????▲???????????口?????▲????RGB???RGBD?????口???????й剗澝?澝???????И?????????口??????????????????口ы??????3D?Иы????口?ы??????????????й????????й????口??З???й?З???????й??????口?ы???????О?????????????Иы?????????口??????И??????????????й?с???????ы?????????Иы????????ы????О??????ы?ы????口ы??О???????澝?????????????О口??д???????????????О???口ысл口?ы????И?????О口?????й?????У????п?О口▲???-???????MotionGPT口?ы????О▲?????????????????口?????????????????????????????????MotionGPT???MotionGPT????口???ы???????????MotionLLM口?????д▲З?ОMoVid??????MoVid-Bench????口??д▲З?????????▲???????????ы??ОMotionLLM?????MotionLLM?Д???情感、意圖情感、意圖口????????У口??????????????ы?人機(jī)交互И?自然性和有效性口???????????????????????體驗(yàn)和滿意度口?????????暉???ы澝????????暉???ы???????ы口??????▲???????????????口口???????????澝???????и???LBP???????ActionUnits,AU?????????П?????????口??????澝????澝??????????????????口??野外??????И?FER????????澝???????澝????????????口????????ИFER?遮擋魯棒性和姿態(tài)不變性?口??д??????????野外FER數(shù)據(jù)集???д?????Ш???口?????低功耗設(shè)備????????????????有限的計(jì)算資源和能源消耗??ё????口?й智能穿戴設(shè)備、智能手機(jī)和遠(yuǎn)程醫(yī)療??????О?口?????口?ы?????И??澝?澝??澝????О??口?????????????嶄??Mel-spectrogram?????嶄??MFCC?口??????????????????ы?????????????ы澝???澝??????????????????口口???????????????澝????澝????澝???????ы????????????ы??面部表情和語(yǔ)音??????口??▲?????????????????????????準(zhǔn)確性和魯口?????ю??????ы?????????????????ы??ы?口????????й????ы?ы?слИ???澝????????????У口?????ы▲????????ы????ыFigure01??ы??йOpenAI?????ы????楝д?Ф??????ды??????д呷????И???PaLM-SayCan????ы?????ы??????????ы????????????????????????И??描述性語(yǔ)言或表達(dá)???????З??????口????????Ф??????????????????Ф▲?????????И???ы????????????????????????????????????ы?????????????????ы??????口????????О?ы??語(yǔ)言指令???ы?????????????DGA口???????????д??????????д??????????????????MAttNet口????????????????????????????д??ы?????澞????????????(DGA)????????????????П?????????/?????/?/???????????????3D??????澝?????澝???3D??????澝?????澝?敂?????澝??澝交互感知澝???????????????主動(dòng)探索、主動(dòng)定位澝??????基于交互的物體檢測(cè)澝????澝????????П?й2D?????????澝??澝ы??О???с??澝??澝ы????О??П?й?????????澝?????????????RGB??3D????????????…?????AND?▲???????????О▲З?????ы?ф?口????ы澝ы????????ы澝?с????ы澝????ы????Э??О?澝???????????????????????????????????口????????澝2D?澝3D???????澞????сл??????????????сл??澝П?????И????zero-shot????О??й??????ы?????????????З?ы?????Т??物物人人任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答??й???й???й??й?Ю口?????TaskPlanning??????????Ф▲??▲З?????Ю????????ы??О???????口??ы???Ды????О??ы???????????????MoveTo?bottle???д????д???????????PickUp?bottle??????MoveTo?table??????Put?bottle?table?口?????????ы?▲??????口???У▲??ы???????Ф??????口???Уи??????????????????????????????MotionPlanning?口?????ы????О?????????????О??ы????????7-DOF???ы????????????口????STRIPS?PRODIGYAI?SHOP2????????????????STRIPSPRODIGYAISHOP2PDDL示例ASP示例????????????????????????И?????И?????????????????????????????澝????????????????????口???О???LLM????????PDDL???????????ы????PDDL???????口???О???口??zero-shot???????????????澝?????澝???澝???????Pipeline???О????口PromptИ???????澝????澞?????????????澝????口Palm-E??д????????????????口???О?????????О??????????口????Ф??й??????▲З????????grounding???????????口???????口???口???????????????????????????????О?????口???口????????????????????????????ы????????口???????????澝?????????????????й?????口?????Д?????口??????澝???澝?澞?????????????口?????????????ыё???????????????ы????????????????澝?????и???▲???и????????????????????????????????З?????????????З??????эТ?VS????????????????????▲????????▲??????????EmbodiedNavigation?????И????????口????????澝?澝??澝??????????澝????澝ы????????????????Ф???Ф??й?Ю????Ф????????????▲??й???????????????澝??澝???????口???????????????澝????????澝???口????????????澝Ш?Ю???й?Ю???????Ю????Ю????????????????口??й???У?????????????й?Ю??????И?Ю?????????????????????????О????VisualNavigation???????Vision-LanguageNavigation??????й?Ю????▲З???????????????????????????Л?П??口??????И???????口?????????????Ю????????Ю????????????????????????????????????????口??И????????口????CNN??????????????口???????????????д???????????口????????И???口VTNet???Ю??И????????????????????口VTNet??▲З?Transformer(VT)?▲З??????澞???????????И???澞???????壝???????????口??????Э????????????????ДЗ??▲??????????口??????????????????????Guptaetal????????????й????????????О????????????RGB-D??????????????????????口???嶄?????Ю??口????嶄????Ю?????????????????????????BRM?口???И???????И???????????口????й???????????й???Ю??????д???????????й???О??Ю?????????口BDFP??И???????????????????????澝????????????????????????И?????Ю??д?????????????????????????????????????????▲????ы?????с????3D?И??????????????????О口??Ф???????口П??RNN,LSTM,Transformer????????И??У??口??LLM?????口?????О??????????????????О????????口???????????????З???????й?????澝???澝??澝?????йLSTM????????????У???壝?????????????口?????????д?????????口??????????????CLIP??О????д????????????????????口?????????????п???О???????????口???й?????????口???й??????????口????????О?????????CLIP?????????????????????О?▲??口???У?????????????И???????З?????▲??????口LLM??????????????Ф?????????▲??口NavGPT????????澝???????????О?????????????????????????????Dasetal.?????????ыП???????????????И??????й????????澞?????О??澝VQA?????口?йVQA?????????????й??ы??П?????口????????▲З???▲З??口???????????????????????口???口Luoetal.???????????澝??????Д???Ю???????▲З???????????????О???????????Ю?????????壝?口???EQA??ЗEQA??И????З????????????澝??澝????口???EQA?????▲???????????▲З??????????????с澝?????????????口???EQA?????EQA?????????????????????口EQA??750З???45З????7?????5000З?口MT-EQA??6?????????澞588З???19287З??EQAv1??????й????2018????О???sota?ю??????????????????????????????????????й???????д??????й?????????▲З???????Э??????????????????????口???Agent??????????物物人人任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答任務(wù)規(guī)劃導(dǎo)航具身問(wèn)答??й???й???й??й?Ю?????И???д??????????????О???口??ы??????澝????口?ы????О??澝?????????И???д?З???????澝??澝????????И??ю?▲З????Ю口??Ю????澝??О??????????7Dof?口7Dof?Пы?????????????澝??澝????口ПО??????????ы???ы???????????И?????口??Ю?????????????口???Ю????????ы??сл?Ю?О??口?О???????????????????口??????й口??Ю???И?Ю???ы?Ю??И不與??сл??▲?Э??????сл????Э???У?сл?Ю口???Ю?слИ?Ю???ы?Ю??И與??сл口??ЮП?????ы????ы?О口????й?????????????????П????澝?????口????口????????澝VR澝??澝GUI????口?????口?????????▲?????口?????д??????????????口?Ю?????口????Ю?О????????????口??Ю???ОД??對(duì)圖像的編碼?圖像表示映射到動(dòng)作口▲???????????????????????????????????????ИШ??口??ы????▲????澞?й?????▲?????????????????????????K????????????????????????口??澝????????Ю???????直接映射????▲????й??????????????????Ф?????????????????????????Loss?????256Зbin口??Ю???????????????▲?????????????????????????И?????????????????????????????????????????И口???О????????О???????????▲З??澞??????З??澞?????聚類????????????口???????▲п???口???口?????????口??????????????????????????????澞?????И??й???????й?????????澞Д???????????????ИЗ????澝?????Д?????????澝???????????????п??澝????????????pО??ы????????????О????▲???▲З???????????澞p?????????????????????И?????????ЮИp????→?О??p??????→??????????И????????З????????????????????????Э???????澝???????????????????????????????????????????????З??????????ф?▲????p????p???????И???▲?????????И?????p??????????й?????????????p??p?????И?▲????й??????????????K??????p無(wú)參數(shù)????Ю?й???????????▲??????????????????О????p??д????????????????????Ю?????????О?????p???Ю?й???????И????最大化某種累積獎(jiǎng)勵(lì)p?й與環(huán)境的交互????Ю???????????О??p???????澝?澝??ы?????сл?Ю??????????????????????優(yōu)點(diǎn)??Ю???О?????????挑戰(zhàn)????сл????????Ю???????й???????澞?????????????????????сл優(yōu)點(diǎn)??????????????????????????口?????И????Ф????????????R??Q??????(??)?CE??????ZI=d(Z,a)??Z=h(s,e)??мЗ???ОMLP(LayerNorm?Mish???)e(????)a(??)?)?e(????)a(??)?TD-MPC????д???e??口??口слπexploration口???йTD-MPC??dynamicmodel口???πexploration??πpretrained口???????口слπpretrained口?dynamicmodel口???πpretrained??πtaskpDQN??И???pQ??p?????????????p??p…p???p?p?????p?????p??p????ы?????????????技術(shù)路線一???技術(shù)路線一??????????技術(shù)路線二???????????????????VS???????????????????????VS???????????????????▲????????▲?????????澝??pй?????????▲З????????О?p▲З???????????????ы?????????????澝????????????ы????????p?????????????????????Ю???p?????????????澝??????????p?????????????????p????З?????????????????И???????p????Octo澝RT-X?OpenVLA???????OpenXEmbodiedemnt??????????????д?物體類型、位置、任務(wù)場(chǎng)景、機(jī)器人類型和人類命令??З???p?▲??????Distractors?????p?и???????????????????p?????И?????И??О?З?pL1?й???????????pL2?й???????pL3?й???????澝?????????????p???????????????????????????????p加入新類型機(jī)械臂在新任務(wù)的數(shù)據(jù)不會(huì)造成嚴(yán)重的性能下降,且會(huì)提高在新加入任務(wù)的表現(xiàn)p數(shù)據(jù)多樣性更重要p??3%???25%?????p?Ч??й??50%??0%??????50%?????25%p???澝???У????澝??????????????澞基座大的模型表現(xiàn)更好p參數(shù)量大效果更好?混合預(yù)訓(xùn)練數(shù)據(jù)聯(lián)合微調(diào)可以提高泛化性pFromscratchю????ы????йVLMpfine-tuning????ы???VLMpCo-fine-tuning??ы??VQA?▲??VLMp?Уд視覺(jué)泛化、運(yùn)動(dòng)泛化、物理泛化和語(yǔ)義泛化???????5VKT<2'ю??У??pvisual:??????澝??pmotion:?????/??pphysical:????????psemantic:??????澝?澝???▲З??????????????????groundingpд??22З????ы??▲??З???p??д34З??ы????60З????p??д????????????????д???澝?????????p???????OpenXEmbodiment???????RT-X澝Octo??????????????????pRT-X?????????????????????д???З????pOcto????澝?澝????????????????????????????????д???Ю??pOpenVLA??澝??澝???У??????И??д?????????У??????????????????ы??????И???????[3]Kimetal.OpenVLApGraspNeRFp?й????????NeRF?????6????DoF???p??????????????????????????????д▲?p????澝????????????p???????????????????????p?П???????????????????????Ю????p??????????ы????????йGPT-4?????????p????О????????????????????????????p??????RoboGen?????????О???????????????Ю澝?й???????????????????Юp??????ы????????ы????О?л????????????p???????????????????????p?????ы????И????????p?????????ы???ы???????????????????p??????Иы??О?????Ю????p???й???????????▲??????ы??О?????p?????????????ы???О??ы????И?????p?З?Ю??ю?й??ы?л??????ы??????澞p無(wú)參數(shù)????Ю?й???????????▲??????????????????О????p??д????????????????????Ю?????????О?????p?????????????????????????p??????????????????д???????И????p????й??????????????????д???pBC-Zp▲З?й????ы?,????Ю???????????p????????????????????????????ы????????p???????????100????????????????????ы????????24?????????????????44%p?????д??Ю???????И?????О??????д??????p???й????????p????????泛化性????澝??澝??澝?澝??ы????????????Э????П??p???ё?????????p?????????????▲З?????????????????????ё???????????????p??10B?????????????1B??????????p????????????????▲З??????Т????И??ы???ы???????ы??Э??й?????????>多模態(tài)具身智能大模型構(gòu)建技術(shù)>基于大模型的持續(xù)學(xué)習(xí)技術(shù)>基于大
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- PLC控制技術(shù)考試模擬題(含答案)
- 養(yǎng)老院環(huán)境保護(hù)管理制度
- 交通安全教育課件
- 《打造學(xué)習(xí)型團(tuán)隊(duì)》課件
- 2024年新能源項(xiàng)目投資委托居間合同范本3篇
- 教育合同范本
- 2024年度特殊工種委托招聘與職業(yè)安全防護(hù)用品供應(yīng)合同3篇
- 臨床靜脈留置針護(hù)理及并發(fā)癥
- 2024年度綠色有機(jī)食材供應(yīng)合作協(xié)議2篇
- 2024天津出租車租賃車輛安全性能檢測(cè)合同3篇
- 換熱器吊裝施工方案
- 單人心肺復(fù)蘇操作評(píng)分標(biāo)準(zhǔn)
- 實(shí)驗(yàn)報(bào)告-平穩(wěn)時(shí)間序列的建模
- 倉(cāng)改造施工方案
- 小學(xué)一二三年級(jí)勞動(dòng)與技術(shù)《整理書包》課件
- 醫(yī)院質(zhì)量與安全管理組織架構(gòu)圖
- 房屋租賃運(yùn)營(yíng)服務(wù)投標(biāo)方案
- 第7.2課《拿來(lái)主義》:不問(wèn)來(lái)歷實(shí)用就好【中職備課精研專用】高一語(yǔ)文課件(高教版2023·基礎(chǔ)模塊上冊(cè))
- 女性乳房的自查保健宣教
- 社區(qū)入戶調(diào)查走訪表
- 《初中文言文有效教學(xué)策略實(shí)踐研究》課題研究中期工作總結(jié)報(bào)告
評(píng)論
0/150
提交評(píng)論