Lindorm一站式AI數(shù)據(jù)平臺實(shí)戰(zhàn) -零基礎(chǔ)搭建企業(yè)智能問答服務(wù)和多模態(tài)數(shù)據(jù)處理服務(wù)

零基礎(chǔ)搭建企業(yè)智能問答服務(wù)和多模態(tài)數(shù)據(jù)處理服務(wù)阿里云高級技術(shù)專家02零基礎(chǔ)搭建企業(yè)智能問答服務(wù)03零基礎(chǔ)搭建多模態(tài)檢索服務(wù)一站式構(gòu)建AIGC業(yè)務(wù)APSARA云棲大會的生產(chǎn)力?通過SQL來實(shí)現(xiàn)模型訓(xùn)練、管理和推理，降低Storage/Managemeng/Processing/Science?數(shù)據(jù)不出庫，提升效率同時(shí)滿足數(shù)據(jù)監(jiān)管要求?ML/AI工程化落地流程復(fù)雜，涉及數(shù)據(jù)準(zhǔn)備、?數(shù)據(jù)庫企業(yè)級優(yōu)勢，如高可用、加密、審計(jì)等APSARA云棲大會數(shù)據(jù)引擎層查詢層數(shù)據(jù)引擎層查詢層計(jì)算層存儲層云原生多模數(shù)據(jù)庫云原生多模數(shù)據(jù)庫Lindorm統(tǒng)一體驗(yàn)統(tǒng)一查詢引擎LSQL統(tǒng)一查詢引擎LSQL多模數(shù)據(jù)統(tǒng)一訪問，兼容MySQL通信協(xié)議開源兼容層LProxy開源兼容層LProxy兼容hbase、es、kafka、influxdb等接口智能計(jì)算ETL、交互分析、機(jī)器學(xué)習(xí)流引擎LStream流引擎LStream流計(jì)算模型管理、推理多?；ネ▽挶硪鎸挶硪嫠阉饕嫠阉饕媪写嬉媪写嬉嫦⒁嫦⒁娲嫠惴蛛x分布式文件系統(tǒng)分布式文件系統(tǒng)LDFS(X86/ARM/倚天)塊存儲塊存儲(ESSDPL1/PL0高效)對象存儲對象存儲本地盤本地盤(SSD/HDD)按需插拔APSARA云棲大會?數(shù)據(jù)與模型一站式管理，滿足安全、監(jiān)管需求CREATEMODELrqa_modelFROMdoc_tableTARGETdoc_fieldTASKRETRIEVAL_QAALGORITHMCHATGLM_6B語義檢索多模態(tài)檢索應(yīng)用層結(jié)構(gòu)化數(shù)據(jù)模型倉庫共享存儲語義檢索多模態(tài)檢索應(yīng)用層結(jié)構(gòu)化數(shù)據(jù)模型倉庫共享存儲非結(jié)構(gòu)化數(shù)據(jù)知識問答數(shù)據(jù)存取數(shù)據(jù)存取 Embedding跨框架支持LindormAI引擎模型編排彈性擴(kuò)展模型服務(wù)DashScope外部模型平臺與服務(wù)通義千問一行一行SQL實(shí)現(xiàn)模型部署服務(wù)?原生SQL交互，結(jié)合數(shù)據(jù)庫原有能力實(shí)現(xiàn)多模融合分析?支持豐富SQL生態(tài)工具和SDK，便于開發(fā)、運(yùn)維靈活模型導(dǎo)入，無縫對接外部模型平臺與服務(wù)靈活模型導(dǎo)入，無縫對接外部模型平臺與服務(wù)?支持一鍵導(dǎo)入模型平臺（ModelScope、HuggingFace）中的模型?支持以API方式對接模型服務(wù)靈積（DashScope）?支持用戶上傳自己的模型彈性異構(gòu)計(jì)算彈性異構(gòu)計(jì)算?云原生架構(gòu)，支持彈性部署云上異構(gòu)計(jì)算資源，包括CPU和GPU機(jī)型?AI推理引擎和多模引擎通過共享存儲打通，節(jié)省數(shù)據(jù)傳輸開銷，實(shí)現(xiàn)靠近數(shù)據(jù)的推理優(yōu)化APSARA云棲大會APSARA云棲大會業(yè)通用模型缺少行業(yè)私域數(shù)據(jù)專有問題解答效果差通用模型缺少行業(yè)私域數(shù)據(jù)專有問題解答效果差涉及新信息的問題效果差缺少模型訓(xùn)練后產(chǎn)生的新信息解法精準(zhǔn)推理數(shù)據(jù)樣本(公開數(shù)據(jù)集)私域知識庫私域知識庫{context}根據(jù)上述已知信息，簡潔和專業(yè)的回答問題。如果無法從中得到答案，請說“根據(jù)已知信息無法回答該問題”，不允許在答案中添加編造成分，答案請使用中文。問題是：{question}"""?文檔源數(shù)據(jù)存儲?文檔源數(shù)據(jù)存儲?AI模型（Embedding、LLM等）部署?向量數(shù)據(jù)庫開發(fā)和運(yùn)維?應(yīng)用開發(fā)和部署、維護(hù)系統(tǒng)架構(gòu)和流程復(fù)雜?文檔格式繁雜，涉及大量預(yù)處理工作?文本分割策略選擇?向量檢索召回率和性能優(yōu)化業(yè)務(wù)落地挑戰(zhàn)大?數(shù)據(jù)安全、私密性等?高級功能支持：如多輪對話等其他考慮APSARA云棲大會用戶準(zhǔn)備文檔數(shù)據(jù)文本轉(zhuǎn)換成向量9876查詢轉(zhuǎn)換成查詢/問題輸出Topk關(guān)聯(lián)內(nèi)容（通義千問、ChatGLM，準(zhǔn)備文檔數(shù)據(jù)文本轉(zhuǎn)換成向量9876查詢轉(zhuǎn)換成查詢/問題輸出Topk關(guān)聯(lián)內(nèi)容（通義千問、ChatGLM，ChatGPT等）5數(shù)據(jù)預(yù)處理、數(shù)據(jù)預(yù)處理、格式轉(zhuǎn)換合法合規(guī)校驗(yàn)2、將源數(shù)據(jù)按格式要求做預(yù)處理，將格式轉(zhuǎn)換成文本5、將轉(zhuǎn)換后的向量，及對應(yīng)的數(shù)據(jù)按要求存放到向量敵據(jù)庫6、用戶輸入查詢問題7、引入或開發(fā)合法合規(guī)校驗(yàn)系統(tǒng)，校驗(yàn)用戶問題的合規(guī)性8、將詢問題轉(zhuǎn)換成向量9、調(diào)用向量數(shù)據(jù)庫向量查詢接口，做語義檢索10、向量數(shù)據(jù)庫返回檢索到的topK關(guān)聯(lián)內(nèi)容11、用戶將topK內(nèi)容以查詢問題,填入到prompt模板12、部署LLM，輸入prompt給LLM，LLM返回答案方案亮點(diǎn)知識庫即服務(wù)方案亮點(diǎn)知識庫即服務(wù)（開箱即用用戶僅需兩步就可便捷構(gòu)建私域知識大腦。流程，由平臺全自動(dòng)完成。系統(tǒng)自動(dòng)完成查詢問題向量轉(zhuǎn)換、語義檢索。并將問題和語義檢索得到的topK關(guān)聯(lián)內(nèi)支持導(dǎo)入自研及客戶的算法模型。文檢索，多路召回。單實(shí)例支持千萬級向量，可擴(kuò)展分布式支持億級向兼容主流LLM：通義千問、ChatGLM等，滿足客戶個(gè)性化、多樣性需求。縮、監(jiān)控告警等豐富的企業(yè)級功能，保障數(shù)據(jù)安全，保障系統(tǒng)高可用。版APSARA云棲大會預(yù)處理、格式轉(zhuǎn)換。并寫入數(shù)據(jù)預(yù)處理、格式轉(zhuǎn)換。并寫入數(shù)據(jù)文本分割Text寬表引擎：數(shù)據(jù)存取(結(jié)構(gòu)化/半結(jié)構(gòu)化)搜索引擎：向量檢索、全文檢索流引擎：數(shù)據(jù)訂閱、增量處理輸出TopK關(guān)聯(lián)內(nèi)容對接已部署好的模型服務(wù)通義千問、ChatGLM等3、網(wǎng)站、網(wǎng)頁等板查詢/問題合法合規(guī)校驗(yàn)構(gòu)筑PromptSQL寫入查詢用戶U知識庫精準(zhǔn)問答AIGCAPSARA云棲大會三個(gè)步驟體驗(yàn)三個(gè)步驟體驗(yàn)企業(yè)智能問答服務(wù)現(xiàn)有多模態(tài)檢索應(yīng)用常見問題現(xiàn)有多模態(tài)檢索應(yīng)用常見問題整體解決方案涉及多個(gè)系統(tǒng)和服務(wù)，架構(gòu)復(fù)雜，開發(fā)運(yùn)向量和標(biāo)量數(shù)據(jù)共存，方便融合檢索同時(shí)也帶來一些問題?向量本身無語義，影響直接通過CLI訪問的體驗(yàn) ?AI模型調(diào)優(yōu)迭代，向量可能需要頻繁更新APSARA云棲大會多模態(tài)檢索多模態(tài)檢索多模態(tài)檢索應(yīng)用對象存儲服務(wù)AI推理服務(wù)關(guān)系數(shù)據(jù)庫向量數(shù)據(jù)庫視頻視頻APSARA云棲大會小汽車藍(lán)色小汽車雨天藍(lán)色小汽車人行道上有推嬰兒車的行人查找“推嬰兒車”的相似圖向量引擎向量引擎寬表引擎搜索引擎文件引擎LDFS：分布式文件存儲多模態(tài)大模型AI引擎語義檢索：白天空曠的道路上只有樹和一盞路燈語義檢索：施工路段語義檢索：白天空曠的道路上只有樹和一盞路燈語義檢索：施工路段APSARA云棲大會語義檢索：非?？拷呢涇囌Z義檢索：非?？拷呢涇囌Z義檢索：三角錐桶語義檢索：三角錐桶APSARA云棲大會三個(gè)步驟體驗(yàn)三個(gè)步驟體驗(yàn)多模式檢索服務(wù)