非+Transformer+架構(gòu)的端側(cè)大模型創(chuàng)新研究與應(yīng)用-ROCK+AI

ROCKAI,CEO 02ROCKAI的端側(cè)大模型的實(shí)踐 03未來(lái)趨勢(shì)工信部賽迪研究院數(shù)據(jù)顯示，預(yù)計(jì)2035年生成式人工智能有望為全球貢獻(xiàn)近90萬(wàn)億元的經(jīng)濟(jì)價(jià)值，其IDC預(yù)測(cè)，2024年中國(guó)終端設(shè)備市場(chǎng)中，將有超過(guò)半數(shù)的設(shè)備在硬件層面具備針對(duì)AI計(jì)算任務(wù)的算力基礎(chǔ)，至2027年，這一比例將進(jìn)一步攀升至接近80%的水平。瑞銀預(yù)計(jì)生成式AI智能手機(jī)出貨量將從2023年的5000萬(wàn)部增長(zhǎng)到2027年的5.83億部，到2027年收入將達(dá)5130億美元，未來(lái)面向廣大C端用戶的端側(cè)大模型市場(chǎng)前景廣闊。4342327354535432943434535433534545545544533394419244453335332811135441334155357行業(yè)主流的大語(yǔ)言模型架構(gòu)局部創(chuàng)新算法的大模型架構(gòu)，自研非Transformer架構(gòu)的低我們還需要在方法層面取得一些根本性突破，才能彌合人工智能與人類(lèi)之間的差ChatGPT、Gemini等大家熟悉的模型都是自回歸大語(yǔ)言模型架構(gòu)。雖然這些模我對(duì)于大腦如何實(shí)際獲得梯度信息、是否通過(guò)某種近似反向傳播機(jī)制或是完全不這個(gè)世界需要比Transformer更好的東西，我們所有人都希望它能被某種東西所取代，將我們帶到一個(gè)新的性能高原?，F(xiàn)在使用了太多的計(jì)算資源，做就像2+2，如果你將他輸入到模型中，它就會(huì)使用一萬(wàn)億個(gè)參數(shù)，我認(rèn)為自適應(yīng)計(jì)算是接下來(lái)必須出現(xiàn)的事情之一，我們需要知道在特定問(wèn)題上應(yīng)該花實(shí)現(xiàn)真正意義上的通用人工智能——即能像人類(lèi)一樣在多種任務(wù)上達(dá)到或超過(guò)人類(lèi)表現(xiàn)的智能體，僅憑Transformer架構(gòu)可能遠(yuǎn)遠(yuǎn)不夠。AGI不僅需要理解并生成語(yǔ)言的能力，還要求具有抽象思考、因果推理、自我反思以及跨領(lǐng)域遷移學(xué)習(xí)等更復(fù)雜認(rèn)知功能。當(dāng)前2、減少不必要的神經(jīng)網(wǎng)絡(luò)參數(shù)參與模型的訓(xùn)練與推理，按需被使用?；诜律窠?jīng)元驅(qū)動(dòng)的選擇算法是一種類(lèi)腦的激活機(jī)制，正如人類(lèi)在開(kāi)車(chē)時(shí)視覺(jué)皮層被大量激活，而在思考問(wèn)題時(shí)邏輯換Transformer基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法是一種類(lèi)腦的激活機(jī)制，正如人類(lèi)在開(kāi)車(chē)時(shí)視覺(jué)皮層被大量激活，而在思考問(wèn)題時(shí)邏輯MCSD整體架構(gòu)如圖一(a)所示，具有輕量級(jí)部署和快速推理能力，以解決主流Transformer的全局注意力機(jī)制使用矩陣乘法導(dǎo)致模型計(jì)算復(fù)雜度高，推理速度慢的問(wèn)題。其中MCSD模塊如圖一(b)是MCSD模型的核心之處，通過(guò)斜率變換和指數(shù)衰減兩個(gè)部分提取輸入數(shù)據(jù)中的當(dāng)前和歷史信息，并進(jìn)行位置感知的多通道特征融合。采用類(lèi)腦的激活機(jī)制，實(shí)現(xiàn)基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法，融合了生物啟發(fā)式計(jì)算與人工智能領(lǐng)域的最新進(jìn)展。通過(guò)模擬大腦中的神經(jīng)元激活模式，能夠更加有效地處理復(fù)雜數(shù)據(jù)和任務(wù)，顯著提升了計(jì)算效率和精度，也為解決現(xiàn)實(shí)世界中的復(fù)雜問(wèn)題提供了新的思路和工具。且支持CPU無(wú)損運(yùn)行以及更低幻覺(jué)表達(dá)。吞吐首次耗時(shí)ARMCortex-A76芯片，4核2.4G頻率Yan1.2多模態(tài)大模型離線部署在手機(jī)中也能流暢運(yùn)行。可通過(guò)自然語(yǔ)言輸入，Yan1.2可以理解并處理任務(wù)，為用戶相比于傳統(tǒng)語(yǔ)音助手，區(qū)別如下：超低算力部署Yan1.2多模態(tài)大模型，構(gòu)建多模......模型訓(xùn)練22.8-2.7-2.6-2.5-2.4-2.3--2.2-2.1-2.0-20LLaMA7BLLaMA13BBaichuan7BRWKV44Byan2B100200300BillonofTokens20482048307240965120614471688192sequenceLengthTransformeryan4.04.55.015-5-30-35-25-45Batchsize2783模型推理說(shuō)明：一個(gè)10億參數(shù)量的模型，在本訓(xùn)練后直接本地推影響架構(gòu)創(chuàng)新和應(yīng)用技術(shù)創(chuàng)新。11/pdf/1412.7525.pdf22/pdf/133/pdf/1806.09077.pdf44/pdf/1608.05343.pdf55√√第一階段Yan架構(gòu)大模型，100%性能效率高于