大模型時(shí)代下基于湖倉一體的數(shù)據(jù)智能新范式+

DataFun

#

2024大模型時(shí)代下,基于湖倉一體的數(shù)據(jù)智能新范式目錄1.大模型爆發(fā)帶來的數(shù)據(jù)行業(yè)變革對于企業(yè)數(shù)據(jù)平臺的能力變革要求阿里云AnalyticDB：在AIGC時(shí)代下，驅(qū)動(dòng)企業(yè)架構(gòu)升級大模型時(shí)代來臨2023.3.162022.112023.2.25ChatGPT

3.5發(fā)布大語言模型的價(jià)值被初步證明Meta開源LLAMA開啟GPT競賽時(shí)代2023.3.14ChatGPT

4.0Microsoft

365

Copilot2023.3.172023.4.11通義千問2023.5.6Google模型PALM2行業(yè)模型Med-PaLM

2和sec-PaLM22023.3.23ChatGPTRetrievalPlugin2023.7.28阿里云模型服務(wù)靈積支持商業(yè)化部署

ChatGLM2，LLAMA2等模型企業(yè)知識增強(qiáng)模型即服務(wù)（Model-as-a-Service)2024.2.15多模態(tài)大模型將語義與圖像進(jìn)行深度理解融合2023年底國家大模型評測標(biāo)準(zhǔn)阿里，百度，騰訊，3602023年S2百模大戰(zhàn)近100大模型覆蓋基礎(chǔ)大語言模型行業(yè)大模型多模態(tài)大模型2023.3.15MidJourney

V5深化產(chǎn)業(yè)影響，驅(qū)動(dòng)全行業(yè)能力升級AIGC帶來的產(chǎn)業(yè)變革趨勢內(nèi)容生產(chǎn)效率將帶來快速變革對于游戲，電商，廣告等行業(yè)，大模型將帶來50%~70%的開發(fā)效率提升，同時(shí)門檻降低將引入新玩家，帶來行業(yè)快速變革垂直領(lǐng)域隨著大模型能力深入持續(xù)變革對于垂直領(lǐng)域企業(yè)，存在著線上+實(shí)體的結(jié)合趨勢，更加依賴對于專業(yè)性的考量，會(huì)隨著LLM能力升級，持續(xù)性進(jìn)行產(chǎn)業(yè)能力升級；高度信息化安全的強(qiáng)監(jiān)管部門的底層變革對于信息化安全等級較高的，對于數(shù)據(jù)具有重政府監(jiān)管企業(yè)，將會(huì)關(guān)注政策導(dǎo)向，數(shù)據(jù)安全及能力演進(jìn)，這類企業(yè)需要自底向上的全盤思考，有序推進(jìn)，最終實(shí)現(xiàn)全行業(yè)擁抱；數(shù)據(jù)規(guī)模大幅增長數(shù)據(jù)質(zhì)量要求提升數(shù)據(jù)安全規(guī)范升級全行業(yè)擁抱AIGC的全新要求（信息來源于艾瑞咨詢發(fā)布的《2023年中國AIGC產(chǎn)業(yè)全景報(bào)告》AIGC分層能力一覽LLM

大語言模型醫(yī)療金融…..安全fine-tune企業(yè)服務(wù)模型服務(wù)商fine-tune知識庫

知識庫知識庫

知識庫…..…..企業(yè)知識增強(qiáng)(RAG+私有模型)fine-tunefine-tune零售企業(yè)專屬知識企業(yè)專屬模型行業(yè)模型通用大模型實(shí)時(shí)企業(yè)信息企業(yè)級特征公司當(dāng)前最火產(chǎn)品行業(yè)特征泛化能力公司主售什么產(chǎn)品零售的定義零售行業(yè)業(yè)務(wù)流程模型領(lǐng)域能力可回答的問題目錄1.大模型爆發(fā)帶來的數(shù)據(jù)行業(yè)變革企業(yè)數(shù)據(jù)平臺的能力挑戰(zhàn)阿里云AnalyticDB：在AIGC時(shí)代下，驅(qū)動(dòng)企業(yè)架構(gòu)升級自頂向下的體驗(yàn)變革+自底向上的能力變革應(yīng)用層內(nèi)容服務(wù)的要求數(shù)據(jù)來源更加豐富在于用戶交互過程中的數(shù)據(jù)覆蓋面積提升智能化的數(shù)據(jù)在線加工能力更強(qiáng)平臺工具層智能開發(fā)效率進(jìn)一步提升；面向垂直行業(yè)屬性的開發(fā)鏈路更智能開發(fā)工具和大模型+加速降低技術(shù)使用門檻基礎(chǔ)層更高的數(shù)據(jù)質(zhì)量用于賦能模型訓(xùn)練；更豐富數(shù)據(jù)類型處理能力；海量數(shù)據(jù)的存儲和IT成本平衡（圖片來源于艾瑞咨詢發(fā)布的《2023年中國AIGC產(chǎn)業(yè)全景報(bào)告》）當(dāng)前數(shù)據(jù)平臺能力瓶頸圖像視頻音頻對話地理時(shí)空AIGC應(yīng)用智能數(shù)據(jù)分析智能決策海量多模數(shù)據(jù)生成大模型原生處理能力亟待增強(qiáng)僅可處理結(jié)構(gòu)化數(shù)據(jù)不支持海量多模數(shù)據(jù)處不支持異構(gòu)算力缺少大模型+AI結(jié)合能力傳統(tǒng)數(shù)據(jù)平臺企業(yè)知識向量數(shù)據(jù)

半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)多模數(shù)據(jù)….大數(shù)據(jù)+大模型能力大模型調(diào)優(yōu)及部署應(yīng)用層?添加文字內(nèi)容?添加文字內(nèi)容?添加文字內(nèi)容01

02

平臺工具側(cè)基礎(chǔ)層03背景LLM能力增加了業(yè)務(wù)場景的數(shù)據(jù)需求范圍，參與業(yè)務(wù)支持的數(shù)據(jù)量大幅膨脹核心訴求海量數(shù)據(jù)需要直接支持應(yīng)用集成方式更加靈活背景基于大模型能力帶來更加高效的開發(fā)和數(shù)據(jù)的分析能力背景10X的數(shù)據(jù)量支持LLM多模的數(shù)據(jù)處理能力高價(jià)值數(shù)據(jù)留存增長場景企業(yè)知識庫，客服等核心訴求更高效的開發(fā)工具更智能的數(shù)據(jù)分析更易用的數(shù)據(jù)處理工具場景企業(yè)數(shù)據(jù)開發(fā)、分析平臺核心訴求低成本的存儲高質(zhì)量數(shù)據(jù)的處理能力異構(gòu)算力的加持場景AI原生的企業(yè)數(shù)據(jù)平臺數(shù)據(jù)平臺趨勢分解一站式智能數(shù)據(jù)平臺架構(gòu)多模型服務(wù)平臺DashScope，PAI等目錄1.大模型爆發(fā)帶來的數(shù)據(jù)行業(yè)變革企業(yè)數(shù)據(jù)平臺的能力挑戰(zhàn)阿里云AnalyticDB：在AIGC時(shí)代下，驅(qū)動(dòng)企業(yè)架構(gòu)升級云原生向量數(shù)據(jù)倉庫AnalyticDBAnalyticDB（PostgreSQL版）阿里云自研的云原生數(shù)據(jù)庫

能力完備，累計(jì)服務(wù)近千企業(yè)，被多個(gè)世界500強(qiáng)企業(yè)選為核心數(shù)倉系統(tǒng)；于2020年評測為TPC-H

30T

性價(jià)比世界第一；自研向量檢索和多模數(shù)據(jù)處理能力（2020年），廣泛應(yīng)用于RAG，以圖搜圖，檢索推薦等場景；國內(nèi)云廠商中唯一被多個(gè)AIGC知名社區(qū)推薦的自研向量數(shù)據(jù)庫；目前已廣泛服務(wù)于互聯(lián)網(wǎng)，教育，傳媒，電商，公安等眾多行業(yè)；TPC-H

Performance/Price

Ranking（data

collect

in

2020）OpenAI

recommandedVector

EngineAnalyticDB

on

Langchain

CommunityAnalyticDB

一站式湖倉設(shè)計(jì)產(chǎn)品優(yōu)勢AI

Service：對接和集成各類LLM以及

模型服務(wù)API，并且提供例如Chunking、Embeddings等各種RAG所需服務(wù)AI增強(qiáng)分析平臺（倉內(nèi)智能）：基于大語言模型重塑傳統(tǒng)數(shù)據(jù)分析和開發(fā)的全鏈路核心能力企業(yè)數(shù)據(jù)管理：存儲結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)；一份數(shù)據(jù)，無數(shù)據(jù)冗余

和一致性問題企業(yè)級特性：支持事務(wù)、ACID、主備切換、冷熱分層、備份恢復(fù)、加密、審計(jì)日志數(shù)據(jù)安全：全量數(shù)據(jù)均在用戶域內(nèi)，無數(shù)據(jù)泄露風(fēng)險(xiǎn)；ADB-PG

AI服務(wù)API企業(yè)應(yīng)用DashscopePAI原生支持LLM通義千問ChatGLM2-6BChatGLM-6B其他ADB-PG

SQL

API內(nèi)置模型服務(wù)模型管理服務(wù)API湖倉一體存儲對話記憶向量存儲非結(jié)構(gòu)化數(shù)據(jù)存儲（文本，圖片，聲紋等）結(jié)構(gòu)化存儲索引存儲(Btree、Gin、Ganos、HNSW)智能文檔分析文檔切分服務(wù)向量化轉(zhuǎn)換服務(wù)文檔管理語義推理語義檢索智能多路召回及精排等標(biāo)準(zhǔn)SQL語法全文檢索（MPP)精排算法內(nèi)置ML算法AnalyticDB

for

PostgreSQL智能數(shù)據(jù)分析&開發(fā)DataCopilotAI

Service：大模型+湖倉RAG應(yīng)用搭建LLM加持下，應(yīng)用面向更大的數(shù)據(jù)范圍，推動(dòng)應(yīng)用數(shù)據(jù)下推至數(shù)據(jù)湖倉AI增強(qiáng)分析平臺–倉內(nèi)智能AnalyticDB

分布式架構(gòu)設(shè)計(jì)融合查詢優(yōu)化:對于具有向量索引的查詢，會(huì)根據(jù)CBO生成融合查詢的最優(yōu)執(zhí)行計(jì)劃分區(qū)并行:支持多分區(qū)并行執(zhí)行，降低多分區(qū)的執(zhí)行聚合重排:支持多分區(qū)聚合重排Distanceplugin:為了更好的支持算法廠商的加密算法，各種算法的距離計(jì)算作為插件集成到數(shù)據(jù)庫中全托管，自運(yùn)維:支持白屏化管理能力，及低維護(hù)成本湖倉存儲：支持湖倉存儲，支持對于結(jié)構(gòu)化+向量+全文的高性能查詢，對于企業(yè)知識支持低成本的靈活湖存儲協(xié)調(diào)節(jié)點(diǎn)(Master)事務(wù)管理

SQL解析優(yōu)化元數(shù)據(jù)存儲

查詢調(diào)度InterconnectSegment節(jié)點(diǎn)向量檢索全文檢索HNSWPQ點(diǎn)積距離歐式距離tsvectortsquerySegment節(jié)點(diǎn)（主）zhparser

GIN條件過濾Segment節(jié)點(diǎn)協(xié)調(diào)節(jié)點(diǎn)協(xié)調(diào)節(jié)點(diǎn)……結(jié)構(gòu)化|向量|非結(jié)構(gòu)化數(shù)倉存儲NSMDSMBtreeSegment節(jié)點(diǎn)（備）Segment節(jié)點(diǎn)（備）湖數(shù)據(jù)訪問層文本|圖片|聲紋等數(shù)據(jù)湖存儲AnalyticDB

完備企業(yè)級能力AnalyticDB

（PostgreSQL版)完全保有在傳統(tǒng)數(shù)據(jù)庫的海量數(shù)據(jù)管理能力之上，對于海量的向量數(shù)據(jù)處理、檢索，半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)及多模數(shù)據(jù)分析進(jìn)行了深度技術(shù)自研，自底向上進(jìn)行了支持和規(guī)?；瘮U(kuò)展（MPP適配，

SIMD適配)，從而用戶無需改動(dòng)當(dāng)前的架構(gòu)，使用全SQL指令，即可立即對接大模型能力；向量數(shù)據(jù)庫功能對比AnalyticDB(PG)Pg插件MxxxPxxxQxxxFAxxx全文索引YY（繼承PG）NNYN融合查詢YN（分區(qū)方式實(shí)現(xiàn)簡單

filter）Y（比較簡單的標(biāo)量filter）Y（標(biāo)量索引過濾）YN原子性/事務(wù)YYNNN（WAL保證可靠，但是沒有事務(wù)）N寫入實(shí)時(shí)可見YYYNY（實(shí)時(shí)寫入時(shí)禁止構(gòu)建索引）Y支持update和deleteYNYYYN索引壓縮存儲YNNNYN支持分區(qū)YYY（寫數(shù)據(jù)需指定分區(qū)）Y（寫數(shù)據(jù)需指定分區(qū)）Y（分shard）Y（分shard支持）高可用YYYYYN超過內(nèi)存的數(shù)據(jù)集查詢YYYNYN支持流式導(dǎo)入YN（只能離線構(gòu)建索引）Y（未滿segment大小的數(shù)據(jù)無法走索引）YYN支持多個(gè)向量索引YYN（一個(gè)集合只能有一個(gè)向量索引）YYN其他限制無法處理超過2000維的向量無法處理超過內(nèi)存的向量檢索，成本高國內(nèi)目前無法使用，非美國本土性能存在降級無全托管版本純算法庫，非數(shù)據(jù)庫(能力收集于2023年6月)方案優(yōu)勢通義千問商業(yè)化平臺：通義千問模型一站式企業(yè)專屬模型服務(wù)平臺企業(yè)數(shù)據(jù)管理：可集中管理企業(yè)知識，并將知識可復(fù)用與知識庫回答及模型Finetune；大語言模型：通義千問的商業(yè)模型平臺，提供持續(xù)演進(jìn)的通義千問LLM模型；：專屬大模型在線API服務(wù)企業(yè)知識庫(AnalyticDB

for

PostgreSQL)API