大模型時代的分布式推理平臺

Xinference：大模型時代的分布式推理平臺秦續(xù)業(yè)未來速度CEOLLM

推理概述AttentionisAllYou

NeedGPT

架構(gòu)EmbeddingDecoderSampling簡化成三個步驟LLM

推理概述EmbeddingDecoderSamplingToken

Embedding將

token

id

轉(zhuǎn)成詞向量PositionalEmbedding將位置信息加到編碼中LLM

推理概述EmbeddingDecoderSampling計算量最大的一個步驟，主要是

attentionLLM

推理概述EmbeddingDecoderSamplingLLM

推理概述EmbeddingDecoderSamplingGreedy

searchBeam

search…Top-KTop-PLLM

優(yōu)化技術(shù)Optimizations:KVCacheLLM

優(yōu)化技術(shù)Optimizations:PagedAttentionLLM

優(yōu)化技術(shù)Optimizations:Continuous

BatchingLLM

優(yōu)化技術(shù)Optimizations:Speculative

DecodingLLM

推理后端高吞吐最好兼容性工作在端側(cè)LLM

模型下載LLM

推理LLM

推理生產(chǎn)部署

個人部署

PromptTemplatesModelCachingUtilsModel

ManagementRESTful

APIResourceManagementThird-partyIntegrationMonitoringXinferenceisallyour

need多模型：匯集約80種開源模型，如GLM4、百川、Llama3、qwen2，還可以自由擴展自定義模型多硬件：支持

NVIDIA、Intel

多種硬件平臺，按需選擇高性能：使用多

backend

和投機采樣等優(yōu)化技術(shù)，大幅提升吞吐量，降低推理延遲低門檻：模型即服務(wù)，支持本地/云端部署等多種部署模式，降低開發(fā)和運維成本；支持從modelscope、huggingface

或

OpenCSG

下載模型Xinferenceisallyour

needXinferenceisallyour

needDify中唯一一個支持所有特性的模型供應(yīng)商模型√√√√√DashboardPython

ClientRESTful

APIResponseOpenAI

SDK第三方集成（langchain、llama_index、Dify、FastGPT、chatchat…）模型和資源管理XinferenceserverApplicationsAPIrequestWebUIrequestrequestGPUGPUGPUCPUllamaResource

Poolllamachatglmgte-largechatglmvllmtensorRT-llmScalabilityScaleUp單機多卡（1張3090

與2張3090的數(shù)據(jù)對比），線性增長，throughput

隨著卡的增加而線性增長,

latency

隨著卡的增加線性降低ScalabilityScaleOut多機多卡（一臺

A10G

顯卡機器與兩臺A10G

顯卡機器），throughput

隨著機器的增加而線性增長,

latency

隨著機器的增加線性降低。Xinference企業(yè)版案例1，NVIDIA

和昇騰混合部署某券商Xinference

提供了異構(gòu)調(diào)度能力，將各種類型硬件納管Xinference屏蔽了底層硬件的差異用戶無需感知硬件不同，GPUvs.NPU透明的優(yōu)化技術(shù)，對

NVIDIA

和昇騰使用不同的優(yōu)化技術(shù)各種常見AI開發(fā)工具直接對接LangchainDify難點和優(yōu)勢NVIDIA

擁有了相對完備的生態(tài)，國產(chǎn)適配有相當(dāng)大的難度Xinference對底層算子進行了適配，利用continuous

batching，整體吞吐提升3倍。得益于Xinference

底層的Xoscar

異構(gòu)算力調(diào)度，用戶對

NVIDIA還是國產(chǎn)芯片是透明的用戶可以更加專注在業(yè)務(wù)側(cè)案例2，構(gòu)建企業(yè)私有化的AI平臺Xinference

作為

AI

基礎(chǔ)平臺大語言模型包括多模態(tài)Embedding、rerank

模型企業(yè)舊模型模型使能平臺知識庫Agent提示詞管理等其他功能聯(lián)系我們GitHub:/xorbitsai/inferenceDocumentation:

https://inference.readthedocs.io/en/latest/麥思博(msup)有限公司是一家面向技術(shù)型企業(yè)的培訓(xùn)咨詢機構(gòu)，攜手2000余位中外客座導(dǎo)師