從社區(qū)數(shù)據(jù)看大模型開發(fā)生態(tài)的全景與趨勢

從社區(qū)數(shù)據(jù)看大模型開發(fā)生態(tài)

全景與趨勢演講人：

王旭，夏小雅寫開源Bug，做開源項(xiàng)目，搞開源創(chuàng)業(yè)，混開源社區(qū)，管公司開源，參與開源基金會(huì)。分析開源數(shù)據(jù)，發(fā)開源論文，搞開源學(xué)術(shù)，寫開源代碼，管開源社區(qū)，做公司開源策略。...大人，時(shí)代變了，大模型來了

關(guān)于我們夏小雅王旭

02

全景：社區(qū)關(guān)系網(wǎng)

01

案例：熱點(diǎn)到數(shù)據(jù)

03

熱點(diǎn)：項(xiàng)目與趨勢目

錄

04

架構(gòu)與全景圖案例研究從熱點(diǎn)新聞到社區(qū)數(shù)據(jù)社區(qū)的行為數(shù)據(jù)只反映一部分的社區(qū)關(guān)系，

既不全面，也不

充分，并不被視為是對項(xiàng)目本身「好壞」的公平評價(jià)，我們

只是以此來提供一些參考信息。項(xiàng)目之間可能有的生態(tài)關(guān)系?

依賴性?

有依賴性的項(xiàng)目，有可能會(huì)有互相

的，尤其是對被依賴項(xiàng)目的貢獻(xiàn)?

競爭性/可替換性?

同一位置的項(xiàng)目，有可能會(huì)有上下

游同時(shí)給他們貢獻(xiàn)?上下游（合作）?

合作者有可能會(huì)有彼此的貢獻(xiàn)*這里都是有可能，但不是必然的。從GitHub上，我們可以有的行為信息?項(xiàng)目本身的活動(dòng)數(shù)據(jù)。?

項(xiàng)目本身的

Commit

/

PR

/

Issue

數(shù)量、頻率、分布情況等?

項(xiàng)目之間的彼此關(guān)聯(lián)信息——項(xiàng)目之間的

互動(dòng)——通過共同的參與人達(dá)到的互動(dòng)。?同時(shí)對兩個(gè)項(xiàng)目的Commit

/

PR

/

Issue

/

Comments

等。?以及Star/Fork

（以下分析中沒有

使用這兩個(gè)數(shù)據(jù)）

我們怎么觀察AI開發(fā)生態(tài)

從

PyTorch,vLLM,

LangChain

出發(fā)https://xiaoya-yaya.github.io/ant-ospo-insights/

+AutoGPThttps://xiaoya-yaya.github.io/ant-ospo-insights/

從AutoGPT,llama.cpp,Chatchat

出發(fā)https://xiaoya-yaya.github.io/ant-ospo-insights/

向下：從

DeepSpeed,Triton,ONNX出發(fā)https://xiaoya-yaya.github.io/ant-ospo-insights/?openai/triton

-

>

triton-lang/triton?OpenDevin/OpenDevin

-

>All-Hands-AI/OpenHands?

jmorganca/ollama

-

>ollama/ollama?

google/jax

->

jax-ml/jax?

jerryjliu/llama_index

-

>

run-llama/llama_index?hiyouga/LLaMA-Efficient-Tuning

-

>

hiyouga/LLaMA-Factory?KillianLucas/open-interpreter

-

>OpenInterpreter/open-interpreter?ollama-webui/ollama-webui

-

>open-webui/open-webui?

joaomdmoura/CrewAI

-

>crewAIInc/crewAI多數(shù)為從個(gè)人項(xiàng)目發(fā)起，迅速火爆繼而transfer到GitHubORG下面和社區(qū)共同治理的，也有從如Google這樣的企業(yè)生長出來演變成一個(gè)中立社區(qū)進(jìn)行托管的，還有因?yàn)轫?xiàng)目在演化過程中roadmap逐漸發(fā)生變化而修改項(xiàng)目名以重新定位公眾認(rèn)知的，如

LLaMA-Factory，OpenHands。

插播一個(gè)有趣的發(fā)現(xiàn)從過去一年里項(xiàng)目名/倉庫名發(fā)生變化的這些熱門AI項(xiàng)目們：哪些項(xiàng)目會(huì)被引入進(jìn)來?改變出發(fā)點(diǎn)會(huì)改變?nèi)脒x項(xiàng)目，但有些熱點(diǎn)項(xiàng)目，不論從

哪個(gè)點(diǎn)出發(fā)，都很容易被引入進(jìn)來：?PyTorch,

llama.cpp,

huggingface/transformers?

可以認(rèn)為關(guān)心

LLM生態(tài)的人都會(huì)去這些項(xiàng)目有

所表達(dá)；?距離應(yīng)用/算法開發(fā)比較近的項(xiàng)目熱度會(huì)更高?

開發(fā)者本身是會(huì)有扎堆現(xiàn)象的：?比如中國開發(fā)者會(huì)更容易和中國開發(fā)者產(chǎn)生互動(dòng)：?比如

ChatChat

就更容易把

MetaGPT,

DB-GPT

Dify，

FastGPT

這些項(xiàng)目給聯(lián)系進(jìn)來哪些項(xiàng)目不會(huì)被引入進(jìn)來?比如

Kubernetes，就完全沒有被引入，

雖然大

家都會(huì)用它，我們推測：?API

已經(jīng)比較穩(wěn)定，即使是利用了接口也

不需要去社區(qū)互動(dòng)；?

同時(shí)快速發(fā)展的項(xiàng)目可能更容易有互動(dòng)?以及有很可能的一點(diǎn)——計(jì)算生態(tài)圈和AI生態(tài)圈的開發(fā)者之間可能是有相對強(qiáng)的隔

離的?

有些很多人用的項(xiàng)目，但是互動(dòng)比較少：?比如大部分

Nvidia

的項(xiàng)目都沒有被引入進(jìn)

來，

推測是單向使用，

或者社區(qū)比較高冷。

一些發(fā)現(xiàn)生態(tài)全景從社區(qū)關(guān)聯(lián)到生態(tài)關(guān)系網(wǎng)生態(tài)是本無所謂有，無所謂無的。正如這些公共接口；其實(shí)項(xiàng)

目之間本沒有公共接口，重復(fù)造的輪子多了，也便成了接口。——這不是魯迅說的，是王旭說的幾個(gè)不同視角或線索?

開發(fā)階段?

從人的輸入，到代碼進(jìn)入

【代碼倉庫】

；

?

供應(yīng)鏈?從代碼或數(shù)據(jù)的存儲(chǔ)，到鏡像/模型注冊中心，再到執(zhí)行點(diǎn)?

運(yùn)維?

部署與升級：編排、調(diào)度、運(yùn)行、更新等?

運(yùn)行階段?

端到端工作流，上下游的配合大模型生態(tài)中的變化點(diǎn)?圍繞預(yù)訓(xùn)練模型?

分布式預(yù)訓(xùn)練本身是龐大的計(jì)算任務(wù)，

而且是

圍繞

GPU

的，相關(guān)有很多項(xiàng)目出現(xiàn)；?模型的龐大尺寸，催生了新項(xiàng)目，或者讓相關(guān)

的項(xiàng)目產(chǎn)生了變化；?

從數(shù)據(jù)庫為中心的服務(wù)到模型為中心的服務(wù)；?

開發(fā)和應(yīng)用流程?

更注重自然語言等輸入手段和工具本身的智能

化——交互式、智能化的開發(fā)

全景圖中用到的前置定義Kubernetes

EcosystemWorkflowandAgent

FrameworkModel

ServingModel

RuntimeModelTrainingFrameworkML

FrameworkEnhancementforAIWorkload

AI生態(tài)中的生態(tài)位傳統(tǒng)在線應(yīng)用系統(tǒng)略

……Enhancement

LibsModel

Registry

anddeliveryAppContainerImage

Registryand

deliveryExtensionsLowcode？IDENotebookUI應(yīng)用/任務(wù)基

礎(chǔ)設(shè)施CI｜WorkflowCode

Repo資源

供給

基礎(chǔ)

設(shè)施智能應(yīng)用系統(tǒng)模型訓(xùn)練供應(yīng)鏈開

發(fā)Kubernetes

Ecosystem

AI生態(tài)中的開源項(xiàng)目們

Model

RuntimeEnhancementforAIWorkloadEnhancement

LibsML

FrameworkModelTrainingFramework傳統(tǒng)在線應(yīng)用系統(tǒng)略

……Model

Registry

anddeliveryAppContainerImage

Registryand

deliveryExtensionsLowcode？IDENotebookUIWorkflandAgent

Framework應(yīng)用/任務(wù)基

礎(chǔ)設(shè)施Model

ServingCI｜WorkflowCode

Repo資源

供給

基礎(chǔ)

設(shè)施智能應(yīng)用系統(tǒng)模型訓(xùn)練供應(yīng)鏈開

發(fā)模型可能成為架構(gòu)中的一等公民?模型成為“新的數(shù)據(jù)庫”；?模型運(yùn)行時(shí)可能成為和應(yīng)用運(yùn)行時(shí)并列的一等公民；?大模型的供應(yīng)鏈上，大模型的尺寸，訓(xùn)練工作流和應(yīng)

用鏡像相似又有不同；開發(fā)工具可能會(huì)有更多變化?

開發(fā)者工具，

尤其是IDE，

一直以來是最活躍的地方，

也是AI

可以產(chǎn)生影響很大的地方——有靈魂的工具；?

CI、測試領(lǐng)域可能還會(huì)有更多變化

一些可能的架構(gòu)斷言熱點(diǎn)洞察趨勢上的項(xiàng)目與項(xiàng)目的趨勢

傳統(tǒng)機(jī)器學(xué)習(xí)框架的十年發(fā)展趨勢

https://xiaoya-yaya.github.io/ant-ospo-insights/

大規(guī)模分布式計(jì)算引擎

https://xiaoya-yaya.github.io/ant-ospo-insights/

推理部署服務(wù)引擎https://xiaoya-yaya.github.io/ant-ospo-insights/

AI應(yīng)用編排類框架https://xiaoya-yaya.github.io/ant-ospo-insights/

傳統(tǒng)IDE與AI交互式開發(fā)工具

https://xiaoya-yaya.github.io/ant-ospo-insights/回到架構(gòu)面對AI生態(tài)的全景圖Kubernetes

Ecosystem各有所長，各有機(jī)會(huì)vLLM最火，其他尚有機(jī)會(huì)和他的ML

FrameworkEnhancementforAIWorkload

AI生態(tài)中的生態(tài)位Model

Registry

anddeliveryAppContainerImage

Registryand

delivery傳統(tǒng)在線應(yīng)用系統(tǒng)略

……Lowcode？IDENotebookUI應(yīng)用/任務(wù)基

礎(chǔ)設(shè)施CI｜WorkflowCode

Repo資源

供給

基礎(chǔ)

設(shè)施智能應(yīng)用系統(tǒng)PyTorch朋友們模型訓(xùn)練Exetn

sions供應(yīng)鏈開

發(fā)我們好像看到了20年前的LAMPl（給年輕朋友）

LAMP

即

Linux，

Apache

httpd，

MySQL，

PHP；l大模型開發(fā)的范式正在形成，做

應(yīng)用，或是做

LAMP

（平臺(tái)、基

礎(chǔ)設(shè)施）本身；l與

LAMP

不完全相同的可能是，大概沒有哪個(gè)組件會(huì)一統(tǒng)江湖，