構(gòu)建企業(yè)級+RAG+系統(tǒng)的創(chuàng)新實(shí)踐-阿里云+費(fèi)躍

構(gòu)建企業(yè)級RAG系統(tǒng)阿里云/PAI人工智能平臺模塊化RAG架構(gòu)企業(yè)級RAG能力集成檢索增強(qiáng)生成（RetrievalAugmentedGeneration,RAG）從數(shù)據(jù)源中檢索信息來輔助大語言模型（LargeLanguageModel,LLM）生成答案。?準(zhǔn)確性?數(shù)據(jù)安全?需求具有多樣性，常規(guī)RAG鏈路難以滿足不同場景的企業(yè)級RAG系統(tǒng)架構(gòu)模塊化RAG架構(gòu)高級高級RAG模塊化模塊化RAG圖片來源:/pdf/2407.21059?白盒化：模塊可以靈活添加/修改?快速構(gòu)建：可通過配置文件/UIdashboard修改模塊配置?代碼開源：兼容LlamaIndex開源協(xié)議?模塊編排：通過編排和路由匹配不同場景需求評估端到端和各模塊性能格式多樣性：企業(yè)級數(shù)據(jù)格式多樣，需要適配不同類型文件的結(jié)構(gòu)和內(nèi)容內(nèi)容復(fù)雜性：文檔內(nèi)容可能包含文塊等多種復(fù)雜元素。非結(jié)構(gòu)化文本：PDF或者掃描類文檔解析難度高知識庫中內(nèi)容會過期失效結(jié)構(gòu)化文件JSON結(jié)構(gòu)化文件JSON編碼?存儲表格key-value信息非結(jié)構(gòu)化文件轉(zhuǎn)MarkdownPDF解析算法閉源PDF解析API?DocumentMind?LlamaParse開源PDF解析模型?EasyOcr?PDF-Extract-Kit-embedding的序列長度限制1.Markdown輸入，降低解析復(fù)雜度3.特殊元素處理?減少查詢和文檔之間的語義差異?假設(shè)文檔（HyDE）?回溯提示（STEP-BACKPrompting)?LLM?AgentPrompt路由：根據(jù)問題選擇對應(yīng)的prompt?不同問題場景切換prompt?多語言查詢的prompt切換向量檢索–Embedding模型選擇?MTEB榜單?知識庫的語言（中文/英文/多語言）?關(guān)鍵字檢索：BM25，稀疏embeddingEmbedding模型微調(diào)權(quán)重和閾值比較困難。?交叉編碼器，比Embedding更精準(zhǔn)?開源模型：bge-reranker,bce-reranker,gte-reranker等LLM重排序如何選擇合適的LLM?文本塊順序：lostinthemiddle?輸出固定格式（JSONformat)?高質(zhì)量FAQ召回多模態(tài)多模態(tài)RAG離線解析：?兩種embedding：文本embedding,CLIPembedding在線查詢?兩路查詢，text_top_k,image_top_k?多模態(tài)大模型進(jìn)行文圖推理應(yīng)的RAGpipeline?對RAGpipeline的運(yùn)行企業(yè)級RAG能力集成?企業(yè)自有身份供應(yīng)商集成阿里云SSO?基于角色SSO的訪問控制，只讀/編輯/管理員?PrivateLink訪問?在線服務(wù)/可觀測數(shù)據(jù)反饋?生產(chǎn)環(huán)境有嚴(yán)格的權(quán)限管控?A/B實(shí)驗(yàn)LLM-LLM-as-a-Judge:量的輔助模型。?HitRate?MAP(Faithfulness)(Correctness)BladeLLM/vLLM推理加速場景1.客服+FAQ-Q1:忘記賬戶密碼如何重置？-Q2:打印機(jī)安裝指南。-Q1:上個(gè)月杭州門店的銷量情況-Q2:哪個(gè)門店的會員增長數(shù)量最多場景1.多模態(tài)RAG問答-Q1:A款和B