鴻蒙生態(tài)下的AI助力移動(dòng)應(yīng)用開(kāi)發(fā)新范式-華為+彭松

通明湖人工智能開(kāi)發(fā)與應(yīng)用大會(huì)鴻蒙生態(tài)下的AI助力移動(dòng)應(yīng)用開(kāi)發(fā)新范式助力鴻蒙原生應(yīng)用高效開(kāi)發(fā)演講人：彭松智能代碼輔助智能問(wèn)答萬(wàn)能卡片生成下一步思考1個(gè)初級(jí)程序員變成1個(gè)資深程序員AI降低開(kāi)發(fā)門檻1個(gè)資深程序員變成10個(gè)資深程序員AI提升程序員開(kāi)發(fā)效率應(yīng)用開(kāi)發(fā)能力邊界更廣全民開(kāi)發(fā)者全民開(kāi)發(fā)者應(yīng)用開(kāi)發(fā)者專業(yè)開(kāi)發(fā)者應(yīng)用開(kāi)發(fā)門檻降低廠商產(chǎn)品智能問(wèn)答代碼生成測(cè)試用例生成代碼優(yōu)化代碼解釋代碼翻譯微軟√√√√√√百度Comate√√√√√√HuggingFaceCodeFuse√√√√√√通義靈碼√√√√√√字節(jié)MarsCode√√√√√√科大訊飛iFlyCode√√√√√√商湯小浣熊√√√√√√智譜AICodeGeeX√√√√√√其他：CodiumAl、Replit、Cursor、CodeStony、JoyCoder、Fittn目前輔助編程飛速發(fā)展中，不同友商功能逐漸趨同，核心功能包括智能問(wèn)答，代碼生成，用例生成，代碼優(yōu)化，代碼解釋；n微軟GithubCopilot背靠OpenAI,輔助編程效果較好。百度Comate與阿里同義靈碼等國(guó)內(nèi)輔助研發(fā)工具在中文場(chǎng)景效果較好。n輔助編程可以極大的提升開(kāi)發(fā)者的工作效率；在代碼生成方面，直接用于業(yè)務(wù)場(chǎng)景時(shí)，還需開(kāi)發(fā)者優(yōu)化，其能力有待進(jìn)一步提升。代碼補(bǔ)全根據(jù)注釋生成代碼修復(fù)編碼錯(cuò)誤添加異常處理生成文檔注釋代碼解釋；代碼修復(fù)；生成測(cè)試用例 鴻蒙整體開(kāi)發(fā)量大代碼生成效率代碼量(含三方)約1.4億行約2.7億行如何快速賦能？賦能開(kāi)發(fā)者220萬(wàn)30萬(wàn)大量新元服務(wù)需研發(fā)如何提升開(kāi)發(fā)效率？新增元服務(wù)鴻蒙卡片添加率68.6%低于競(jìng)品93%AI使能研發(fā),聚焦高價(jià)值高頻次場(chǎng)景代碼生成補(bǔ)全代碼生成補(bǔ)全智能代碼輔助鴻蒙開(kāi)發(fā)萬(wàn)能卡片代碼生成鴻蒙元服務(wù)開(kāi)發(fā)輔助鴻蒙知識(shí)問(wèn)答知識(shí)推廣輔助應(yīng)用智能代碼輔助智能問(wèn)答萬(wàn)能卡片生成下一步思考lArkTS界面代碼生成lHarmonyOSAPI代碼生成lArkTS常用算法代碼生成l精準(zhǔn)理解代碼注釋l智能分析代碼上下文l鴻蒙原生應(yīng)用最佳實(shí)踐智能代碼輔助技術(shù)路線目標(biāo)：代碼生成與代碼補(bǔ)全采納率達(dá)到30%挑戰(zhàn)：lArkTS語(yǔ)料質(zhì)量偏低：絕大多數(shù)代碼沒(méi)有注釋，代碼文件通常較短信息量少，且代碼數(shù)據(jù)多樣性低l現(xiàn)有大模型不懂ArkTS：現(xiàn)有的數(shù)據(jù)生成和衍生方法難以應(yīng)用，無(wú)法直接用現(xiàn)有大模型生成ArkTS語(yǔ)料和指令代碼基座模型代碼基座模型編程相關(guān)知識(shí)，以及代碼的理解、生成能力面向代碼的增量預(yù)訓(xùn)練語(yǔ)言基座模型面向代碼的增量預(yù)訓(xùn)練基本的語(yǔ)言知識(shí)，以及中英文理解、生成能力領(lǐng)域增強(qiáng)模型領(lǐng)域增強(qiáng)模型注入特定編程語(yǔ)言的知識(shí)，或者增強(qiáng)特定編程語(yǔ)言的代碼能力通用代碼對(duì)話模型基本的編程任務(wù)和相關(guān)對(duì)話通用代碼對(duì)話模型基本的編程任務(wù)和相關(guān)對(duì)話領(lǐng)域任務(wù)增強(qiáng)模型針對(duì)特定編程任務(wù)進(jìn)行增強(qiáng)L2模型代碼指令微調(diào) L0模型預(yù)訓(xùn)練數(shù)據(jù)加工：基于規(guī)則和基于模型篩選高質(zhì)量數(shù)據(jù)》數(shù)據(jù)源》數(shù)據(jù)源?開(kāi)源數(shù)據(jù)集?合成數(shù)據(jù)?規(guī)則過(guò)濾?隱私敏感信息?License過(guò)濾》》?文檔間去重:MinHash+LSH?代碼倉(cāng)庫(kù)去重?抽樣人工標(biāo)注?LLM質(zhì)量分級(jí)?分級(jí)模型迭代原始代碼片段LLMLLM代碼功能、詳細(xì)解釋構(gòu)造指令構(gòu)造指令數(shù)據(jù)Instruction:請(qǐng)使用ArkTS語(yǔ)言實(shí)現(xiàn)一個(gè)名為ResetFactory的類，該類提供了一個(gè)名為rebootAndCleanUserData的方法，該方法用于執(zhí)行設(shè)備的恢復(fù)出廠設(shè)置操作。Output:```arkts\nconstTAG=‘ResetFactory’;\n\nexportclassResetFactory{\nrebootAndCleanUserData(){\nletrestorer=……```\n在上述ArkTS代碼中……在執(zhí)行操作后，它會(huì)記錄操作的成功或失敗信息。實(shí)現(xiàn)ResetFactory類，該類提供rebootAndCleanUserData方法，用于執(zhí)行設(shè)備的恢復(fù)出廠設(shè)置操作。在執(zhí)行操作后，它會(huì)記錄操作的成功或失敗信息……ArkTS基礎(chǔ)知ArkTSArkTS基礎(chǔ)知ArkTS&TS差?ArkTS和TS差異說(shuō)明?教程、FAQ、三方開(kāi)發(fā)者樣例RAG文檔切分文檔選擇!相關(guān)文檔檢索HarmonyOS閉源文檔?自由流轉(zhuǎn)、RAG文檔切分文檔選擇!相關(guān)文檔檢索HarmonyOS閉源文檔?自由流轉(zhuǎn)、元服務(wù)等閉源特性[任務(wù)一]……認(rèn)真閱讀并掌握ArkTS……[任務(wù)二]……總結(jié)考察的知識(shí)點(diǎn)…………編寫問(wèn)題…………解決思路、代碼、代碼說(shuō)明……訓(xùn)練數(shù)據(jù)中的幻覺(jué)：?原始代碼片段不完整，具有額外依賴?模型缺乏鴻蒙知識(shí)，生成的數(shù)據(jù)天然具有幻覺(jué)?文檔內(nèi)容僅能約束部分代碼，無(wú)法完全避免生成不存在的接口?ArkTS與TS、JS接近，尤其容易混淆類似功能的接口編譯編譯通過(guò)ArkCompiler全量數(shù)據(jù)通過(guò)ArkCompiler全量數(shù)據(jù)編譯報(bào)編譯報(bào)錯(cuò)信息不通過(guò)LLMICL、CoT、Self-LLMICL、CoT、Self-consistency、…… 修正數(shù)據(jù)問(wèn)題數(shù)據(jù)模型和數(shù)據(jù)逐輪迭代Retriever相關(guān)文檔&Retriever相關(guān)文檔&正確的代碼文檔智能代碼輔助智能問(wèn)答萬(wàn)能卡片生成下一步思考l自然語(yǔ)言問(wèn)答式搜索l精準(zhǔn)定位文檔與代碼l可拓展閱讀以供參考鴻蒙知識(shí)問(wèn)答-基于大模型的鴻蒙應(yīng)用開(kāi)發(fā)問(wèn)答助手目標(biāo):理解用戶自然語(yǔ)言描述的問(wèn)題，歸納總結(jié)鴻蒙知識(shí)，直接解答用戶問(wèn)題，減少檢索查找周期，提高問(wèn)題解決效率。挑戰(zhàn)：?鴻蒙知識(shí)官方信息較匱乏，現(xiàn)有大模型對(duì)鴻蒙問(wèn)題理解不佳；?大模型幻象生成不屬于鴻蒙知識(shí)的解決方案，導(dǎo)致答案不準(zhǔn)確；?多場(chǎng)景、多業(yè)務(wù)接入鴻蒙知識(shí)問(wèn)答，提升開(kāi)發(fā)者效率，助力鴻蒙生態(tài)擴(kuò)展目標(biāo)：構(gòu)建鴻蒙代碼領(lǐng)域L1L2評(píng)測(cè)集，產(chǎn)出月度評(píng)測(cè)報(bào)告?L1：官網(wǎng)或者論壇有直接答案，如接口說(shuō)明?L2：官網(wǎng)無(wú)直接答案，需要模型推理總結(jié)關(guān)鍵點(diǎn)：分級(jí)標(biāo)注，L2標(biāo)注引入專業(yè)開(kāi)發(fā)者目標(biāo)：基于官方文檔，構(gòu)建鴻蒙編程全領(lǐng)域知關(guān)鍵點(diǎn)：與鴻蒙知識(shí)賦能團(tuán)隊(duì)聯(lián)動(dòng)提升覆蓋率目標(biāo)：下一代搜索能力應(yīng)用于鴻蒙領(lǐng)域，提升鴻蒙知識(shí)準(zhǔn)確率關(guān)鍵點(diǎn)：1）搜索Agent流程構(gòu)建2）向量表征，內(nèi)容優(yōu)選語(yǔ)義模型能力定向提升3）通過(guò)大模型增強(qiáng)Query理解，搜索精排能力目標(biāo)：鴻蒙知識(shí)問(wèn)答場(chǎng)景，提升大模型答案準(zhǔn)型關(guān)鍵點(diǎn)：1)預(yù)訓(xùn)練模型增加鴻蒙開(kāi)發(fā)手冊(cè)數(shù)據(jù)2）RAG模型增加鴻蒙知識(shí)問(wèn)答類樣本3）支持文配圖、markdown、代碼模板、參考來(lái)源等呈現(xiàn)形式智能代碼輔助智能問(wèn)答萬(wàn)能卡片生成下一步思考畢方AI輔助萬(wàn)能卡片生成：對(duì)話式交互體驗(yàn)，即時(shí)卡片效果呈現(xiàn)l準(zhǔn)確識(shí)別用戶需求意圖l理解上下文對(duì)話更加流暢l多張卡片預(yù)覽即時(shí)生成l卡片工程代碼一鍵生成畢方IDE智慧內(nèi)核-項(xiàng)目級(jí)代碼生成技術(shù)目標(biāo):輸入自然語(yǔ)言需求描述，端到端生成可編譯運(yùn)行、預(yù)覽的鴻蒙萬(wàn)能卡片工程。挑戰(zhàn)：?項(xiàng)目級(jí)代碼生成涉及文件類型、數(shù)量多，導(dǎo)致模型很難直接生成一個(gè)完備的工程項(xiàng)目；?鴻蒙場(chǎng)景下代碼數(shù)據(jù)較少，大模型幻覺(jué)容易導(dǎo)致生成不符合鴻蒙語(yǔ)法規(guī)范的代碼，生成結(jié)果無(wú)法編譯預(yù)覽。傳統(tǒng)開(kāi)發(fā)流程（周級(jí)需求描述需求分析需求設(shè)計(jì)代碼編寫測(cè)試/發(fā)布開(kāi)發(fā)態(tài)AgentsAI開(kāi)發(fā)流程（分鐘級(jí)——畢方IDE新開(kāi)發(fā)模式項(xiàng)目級(jí)代碼生成技術(shù)項(xiàng)目級(jí)代碼生成UI與項(xiàng)目級(jí)代碼生成UI與邏輯代碼生成即時(shí)編譯運(yùn)行對(duì)話式交互體驗(yàn)用戶意圖精確識(shí)別自然語(yǔ)言多輪交互智能化UI設(shè)計(jì)AI智能布局多元化ArkUI組件生成萬(wàn)能卡片生成框架打造用戶友好的開(kāi)發(fā)形態(tài)用戶體驗(yàn)用戶體驗(yàn)實(shí)時(shí)預(yù)覽代碼修復(fù)規(guī)劃鏈路，實(shí)現(xiàn)項(xiàng)目級(jí)代碼生成代碼修復(fù)代碼生成代碼驗(yàn)證Agent系統(tǒng)工程實(shí)踐，Agent系統(tǒng)RAGRAG增強(qiáng)FewFew-ShotlearningRethinkRethinkScaffoldingScaffolding邏輯代碼基座模型鴻蒙知識(shí)注入，增強(qiáng)邏輯代碼基座模型項(xiàng)目級(jí)數(shù)據(jù)盤古大模型用戶描述Agent系統(tǒng)中間態(tài)結(jié)構(gòu)化IR后處理ArkTS代碼渲染預(yù)覽效果“請(qǐng)幫我展示新品上市活動(dòng)的2*4卡片，包含新品信息，點(diǎn)擊不同新品展示項(xiàng)跳轉(zhuǎn)到不同產(chǎn)品頁(yè)面”生成結(jié)構(gòu)化數(shù)據(jù)的中間態(tài)IR卡片事件邏輯?后處理部分對(duì)Agent生成的中間態(tài)IR進(jìn)行解析轉(zhuǎn)換為ArkTS代碼卡片事件邏輯?渲染器對(duì)生成的ArkTS代碼進(jìn)行渲染并最終輸出給用戶卡片狀態(tài)變量智能代碼輔助智能問(wèn)答萬(wàn)能卡片生成下一步思考智能問(wèn)答智能代碼輔助萬(wàn)能卡片生成準(zhǔn)確率：85%采納率：37%準(zhǔn)確率：60%展望：?持續(xù)優(yōu)化HarmonyOS領(lǐng)域AI大模型?