利用 GPU 加速 Milvus 賦能 LLM 應(yīng)用 2024-1-9-英偉達(dá) LLM day

利用GPU加速M(fèi)ilvus賦能LLM應(yīng)用來(lái)ziliz開(kāi)源布道師西安交通大學(xué)chenglong.li@目錄目錄01Milvus架構(gòu)演進(jìn)及功能介紹02基于NVIDIAGPU加速M(fèi)ilvus獲取10倍性能提升03應(yīng)用分享：RAG知識(shí)庫(kù)+推薦系統(tǒng)012018.102020.032019.040.12021.03Release2019.06stSeed2022.02Release2019.102022.07Milvus2.1Release2022.11Release2023.08ReleaseLIlNEshuterstr,ckebayHaierHisemseCOMPASSlMilvus被全球超過(guò)5000家企業(yè)用戶(hù)所信賴(lài)，超過(guò)1000萬(wàn)次下載和安裝，最大庫(kù)規(guī)模超過(guò)20億條向量lMilvus在SIGMOD和VLDB等數(shù)據(jù)庫(kù)頂會(huì)上發(fā)表了論文，奠定了向量數(shù)據(jù)庫(kù)的基礎(chǔ)Milvus-全球第一款開(kāi)源向量數(shù)據(jù)庫(kù)超高性能Blazing超高性能BlazingFast?查詢(xún)性能根據(jù)物理資源線性擴(kuò)展CloudNative?百億規(guī)模向量擴(kuò)展性?基于K8s實(shí)現(xiàn)高可用容災(zāi)Milvus云端一體UnifyCloud云端一體UnifyCloudandDesktop?提供從筆記本，到線下機(jī)房到云完全一致的使用體驗(yàn)PluggableEngine?提供標(biāo)量倒排索引支持為云而生的向量數(shù)據(jù)庫(kù)?分布式云原生，基于K8s進(jìn)行微服務(wù)化設(shè)計(jì)?百億級(jí)向量的擴(kuò)展能力?基于消息隊(duì)列實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)增刪查詢(xún)能力TOP-K近似查詢(xún)RANGE近似查詢(xún)數(shù)據(jù)類(lèi)型數(shù)據(jù)類(lèi)型查詢(xún)能力VECTOR(BINARY_VECTOR,FLOAT_VECTOR)近似查詢(xún)JSON表達(dá)式匹配過(guò)濾ARRAY表達(dá)式匹配過(guò)濾BOOL表達(dá)式匹配過(guò)濾表達(dá)式匹配過(guò)濾FLOAT(FLOAT,DOUBLE)表達(dá)式匹配過(guò)濾VARCHAR(VARCHAR,STRING)STRING主鍵查詢(xún)表達(dá)式匹配過(guò)濾組織與權(quán)限組織與權(quán)限計(jì)算實(shí)例適配與軟硬聯(lián)合調(diào)優(yōu)計(jì)算實(shí)例適配與軟硬聯(lián)合調(diào)優(yōu)多層存儲(chǔ)適配與數(shù)據(jù)布局優(yōu)化02?GPU搜索瓶頸在于查詢(xún)向量從內(nèi)存到顯存的拷1617GPU索引性能-SearchDatasetsGLOVEDEEPRAFT-IVF-FLAT(VPS)18GPU索引性能-SearchDatasetsGLOVEDEEP19IndexTypeIndexParamCPUGPU20?新聞檢索/去重?視頻實(shí)時(shí)檢索?社交用戶(hù)檢索2103涉黃涉恐圖片風(fēng)控疾病診斷UGC圖片分析疾病診斷UGC圖片分析OCR敏感人物敏感人物多模態(tài)搜索海量視頻海量視頻ASRASR語(yǔ)音知識(shí)庫(kù)檢索知識(shí)庫(kù)檢索全球?qū)＠樵?xún)?nèi)驅(qū)＠樵?xún)論文查重敏感內(nèi)容過(guò)濾評(píng)論刷分檢測(cè)情感分析對(duì)話機(jī)器人語(yǔ)義搜索 論文查重敏感內(nèi)容過(guò)濾評(píng)論刷分檢測(cè)情感分析對(duì)話機(jī)器人語(yǔ)義搜索電影/音電影/音樂(lè)盜版文件盜版文件應(yīng)用場(chǎng)景-大模型增強(qiáng)ChatGPT：?利用大語(yǔ)言模型（LLM）實(shí)現(xiàn)以ChatGPT為代表的智能問(wèn)答Vectordatabase：可靠的知識(shí)庫(kù)Prompt-as-code：?使用提示匹配用戶(hù)問(wèn)題與來(lái)自知識(shí)庫(kù)的參考內(nèi)容https://osschat.io面向大模型場(chǎng)景的深度理解?動(dòng)態(tài)Schema?List/Set等數(shù)據(jù)類(lèi)型的支持?面向構(gòu)建SaaS用戶(hù)，通過(guò)Partitionkey能力支持百萬(wàn)級(jí)租戶(hù)?與OpenAI，Langchain，SemanticKernel，Llama-Index，AutoGPT，Towhee，Huggingface，Cohere等大模型生態(tài)深度集成?Python，Js，Golang，Java，C#，Restful等豐富的客戶(hù)端支持E-commercerecommendation開(kāi)發(fā)者量身定制!教你如何玩轉(zhuǎn)LLM微調(diào)技術(shù)?近一年來(lái)，大模型的落地應(yīng)用得到了各行業(yè)以及AI開(kāi)發(fā)者的廣泛關(guān)注。雖然大模型擁有強(qiáng)大的語(yǔ)言基礎(chǔ)和推理能力，但在高度定制化的業(yè)務(wù)場(chǎng)景下，直接使用預(yù)訓(xùn)練模型也許不能滿(mǎn)足業(yè)務(wù)需求。因此，我們以激發(fā)出它的潛力和最佳性能。本次演講將圍繞以下內(nèi)容展開(kāi)：??LLM部署優(yōu)化??近年大型語(yǔ)言模型(LLM)帶來(lái)企業(yè)及大規(guī)模應(yīng)用的全新契機(jī)。在私領(lǐng)域擴(kuò)充并部署LLM推理服務(wù)，可能面臨服務(wù)及算力擴(kuò)充問(wèn)題。有鑒于LLM推理服務(wù)普遍需要較大的GPU資源、又需滿(mǎn)足各方非同步、長(zhǎng)短不一的文本生成，更需要進(jìn)行軟件設(shè)計(jì)、代碼