高超：?向生成式AI的向量數(shù)據(jù)庫：架構(gòu)性能與未來趨勢

面向生成式Al的向量數(shù)據(jù)庫：架構(gòu)，性能與未來趨勢高超/Zilliz工程師高超D向量數(shù)據(jù)庫背景介紹D性能的關(guān)鍵-索引向量數(shù)據(jù)庫背景介紹zilliz樣的Metric,常見的有L2,IP米zilliz·向量數(shù)據(jù)庫是一種專為存儲(chǔ)和查詢高維度向量數(shù)據(jù)而優(yōu)化的數(shù)據(jù)庫系統(tǒng)Vector已經(jīng)被廣泛應(yīng)用于機(jī)器學(xué)習(xí)應(yīng)用中，包括推薦系統(tǒng)，搜索，風(fēng)控，安防等系統(tǒng)中?，F(xiàn)在仍然是重要的使用場景搞笑美女網(wǎng)頁新同首頁圖說新聞搞笑美女網(wǎng)頁新同首頁圖說新聞該圖片可能是：榴蓮酥該圖片可能是：榴蓮酥相似圖片Generation(RAG),VectorVector米zilliz什么是一個(gè)好的向量數(shù)據(jù)庫·可觀測可運(yùn)維·加載和查詢4·Index:索引構(gòu)建爭搶查詢資源LogBroker目目目▲▲▲▲實(shí)時(shí)性和性能的tradeoff·Segment是milvus查詢的最小單位詢，保證數(shù)據(jù)的實(shí)時(shí)可見，性能差queryNode上的數(shù)據(jù)加速查詢segment,加速查詢向量檢索更加友好件，跳過消息隊(duì)列，直接插入到對象存儲(chǔ)全局索引向量數(shù)據(jù)庫即服務(wù)多實(shí)例架多實(shí)例架訪問控制多AZ高可用監(jiān)控告警審計(jì)全商業(yè)版商業(yè)版理鑒權(quán)BYOC三個(gè)版本，面向不同需鑒權(quán)網(wǎng)絡(luò)控制網(wǎng)絡(luò)控制Azure,阿里云、騰訊云等主流向量索引●樹索引：維度災(zāi)難，性能差·量化：精度有限，但比哈希更為常用·圖索引：占用資源高，精度和性能優(yōu)異樹哈希量化圖·Knowhere作為milvus的核心向量引擎，集成了多種向量算法，供用戶自由選擇·對外統(tǒng)一接口，方便集成新索引米zilliz·暴搜：效率很低，但100%準(zhǔn)確!●數(shù)據(jù)量少的時(shí)候可能優(yōu)于索引的性能·對數(shù)據(jù)點(diǎn)做聚類，分成若干個(gè)buckets,避免搜索全量數(shù)據(jù)量通過聚類編碼成聚類中心id,有效壓縮向量的內(nèi)存占用·查詢時(shí)預(yù)計(jì)算query向量和每段聚類中心的距離，把距離計(jì)算轉(zhuǎn)化成查表操作y?Y?y?Y?y4y?y?y7y?·建索引的原則：近鄰的近鄰大概率是近鄰，同時(shí)引入一些長邊防止陷入局部最優(yōu)索找到最終結(jié)果NeighborsVec2Neig計(jì)算精確距離，同時(shí)得到鄰居id,用到內(nèi)存中的PQ編碼計(jì)算近似距離用于導(dǎo)航·DiskANN可以實(shí)現(xiàn)較低的內(nèi)存占用，達(dá)到還不錯(cuò)的性能和高精度集成到knowhere,充分利用gpu的并行計(jì)算能力，加速索引構(gòu)建和查詢Milvus-CAGRAvsMilvus-HNSWMilvus-CAGRAvsMilvus-HNSW500K1536-dimT4A10GT4:16.8xA10G:25.8xT4:6.7xA10G:9x如何選擇最合適的索引量化的方案?！はＭ岣遖ccuracy則不去做激進(jìn)的量化策略，要求很高則使用FLAT。索引/gpu索引方案Zillizcloud商業(yè)版索引引擎-cardinal成為一個(gè)基本需求標(biāo)量過濾的效率。同時(shí)支持向量側(cè)通過標(biāo)量分布構(gòu)建融合索引加速過濾774a63r33s42e640700006076304004300004200000000032dense=[0.2,0.3,0.5,0.7,...]#severalhundredfloatsMRR@10R@1000NDCG@10R@1000--檢索，可以是多個(gè)densevector,也可以是denseVectors_t→→Input:Multi-VectorsDataset:Multi-fields78.480.056.955.557.778.657.859.356.072.869.970.178.686.67.168.743.738.845.265.335.548.248.956.361.544.557.979.070.79.681.159.457.258.880.159.061.458.274.571.271.279.087.79.680.758.857.559.279.757.662.858.373.971.369.878.5的需求。在文本檢索時(shí)，一個(gè)向量代表一個(gè)chunk,缺少全文視角Exam