Chatting or Acting？-DeepSeek的突破邊界與“浙大先生”的未來圖景

工工R—DeepSeek的突破邊界與浙大先生的未來圖景浙江大學(xué)信息技術(shù)中心浙江大學(xué)人工智能教育教學(xué)研究中心2025年02月17日這玩意兒憑啥這么強這玩意兒憑啥這么強？成本這么低，西湖之光不用了吧？DeepSeek關(guān)鍵詞DeepSeek突破邊界——DeepSeek的突破邊界與浙大先生的未來圖景DeepSeek席卷全球?DeepSeek-R1已發(fā)布并開源，性能對比OpenAIo1正式版。首，與世界上最先進的閉源模型不分伯仲。度在140多個國家的應(yīng)用商店下載排行首億注冊用戶的APP。DeepSeek模型架構(gòu)創(chuàng)新——采用MoE架構(gòu)并解決路由崩潰難題DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率柏拉圖表征假說隱馬爾卡夫鏈神經(jīng)網(wǎng)絡(luò)時代神經(jīng)網(wǎng)絡(luò)時代Transfoermer時代DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率神經(jīng)網(wǎng)絡(luò)時代Transfoermer時代神經(jīng)網(wǎng)絡(luò)時代神經(jīng)網(wǎng)絡(luò)時代Transfoermer時代神經(jīng)網(wǎng)絡(luò)時代DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率隱馬爾卡夫鏈神經(jīng)網(wǎng)絡(luò)時代神經(jīng)網(wǎng)絡(luò)時代Transformer時代DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率隱馬爾卡夫鏈神經(jīng)網(wǎng)絡(luò)時代隱馬爾卡夫鏈神經(jīng)網(wǎng)絡(luò)時代Transfoermer時代DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率隱馬爾卡夫鏈神經(jīng)網(wǎng)絡(luò)時代神經(jīng)網(wǎng)絡(luò)時代DeepSeek模型架構(gòu)創(chuàng)新——MLA多頭潛在注意力機制降低成本、提高效率DeepSeek工程優(yōu)化lDualPipelDualPipe流水線并行：雙向流水線設(shè)計（同時從兩端饋送micro-batch），顯著減少流水線氣泡，GPU利用率提升30%+重計算策略（反向傳播時重新生成中間結(jié)果）、CPU存儲EMA參數(shù)，顯存占用減少20%節(jié)點限制路由（每個Token最多跨4節(jié)點）、定制化All-to-All通信內(nèi)核，結(jié)合Warp專業(yè)化調(diào)度，降低跨節(jié)點通信開銷DeepSeek預(yù)訓(xùn)練數(shù)據(jù)與策略l數(shù)據(jù)構(gòu)建：14.8萬億Token多樣化語料，數(shù)學(xué)與編程數(shù)據(jù)比例提升，支持多語言任務(wù)l通多Token預(yù)測（MTP同時預(yù)測多個未來Token，訓(xùn)練效率提升1.8倍，推理加速顯著l長上下文擴展：兩階段擴展訓(xùn)練（4K→32K→128K），結(jié)合YaRN方法，支持128K上下文窗口DeepSeek低精度訓(xùn)練與成本控制llFP8混合精度訓(xùn)練：對激活值和權(quán)重細(xì)粒度量化（1×128Tile-Wise），中間累加保留FP32精度，顯存占用減少40%ll選擇性高精度組件：關(guān)鍵模塊（如Embedding、Attention）保留BF16/FP32計算，平衡效率與精度ll訓(xùn)練成本：總成本550萬美元（2.788MH800GPU小時），預(yù)訓(xùn)練效率達每萬億Token僅180KGPU小時DeepSeek訓(xùn)練方法創(chuàng)新DeepSeek訓(xùn)練方法創(chuàng)新通過微調(diào)建立初始推理框架，解決純RL初期低效問題推理任務(wù)專項優(yōu)化，新增語言一致性獎勵（解決多語言混雜問題）學(xué)/編程）與模型評估獎勵（開放問答DeepSeek訓(xùn)練方法創(chuàng)新推理能力蒸餾與開源生態(tài)使用R1生成的80萬條數(shù)據(jù)對Qwen/Llama系列蒸餾，Qwen-7B在AIME準(zhǔn)確率提升至55.5%，超越同類模型2倍使用R1生成的80萬條數(shù)據(jù)對Qwen/Llama系列蒸餾，Qwen-7B在AIME準(zhǔn)確率提升至55.5%，超越同類模型2倍開源6個蒸餾模型（1.5B-70B），API定價僅為OpenAI的3%，實現(xiàn)推理性能與成本的極致平衡阿里云、騰訊云、騰訊云、百度智能云、天翼云（中國電信）、移動云（中國移動）、聯(lián)通云（中國聯(lián)通）、火山引擎（字節(jié)跳動）、京東云、青云科技、云軸科技等戰(zhàn)略拐點：人工智能的拐點已經(jīng)從成長期到產(chǎn)業(yè)化轉(zhuǎn)換技術(shù)能力第三階段第四階段第五階段第一階段第二階段技術(shù)能力第三階段第四階段第五階段AI所處的位置成長期產(chǎn)業(yè)化成熟期成長期產(chǎn)業(yè)化成熟期技術(shù)大爆炸看得到新技術(shù)看得懂新技術(shù)算力拐點：DeepSeek的出現(xiàn)，意味著算力效率拐點顯現(xiàn) 訓(xùn)練算力（petaFLOPs）1.E+101.E+10GPT-3175B（davinci）●liBaichuan2-13B1.E+06BERT-LargeDeepSeek-R1-671BDeepSeek-R1-DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-1.5BBTransformerTransformer ALexNet數(shù)據(jù)拐點：AI基礎(chǔ)大模型的參數(shù)量迎來拐點2025年發(fā)布的大模型，都具有低參數(shù)量的特征，為本地化部署到AI終端運行提供了可能Large2018年6月2018年10月2019年2月2019年7月2020年6月高參數(shù)量低參數(shù)量DeepSeek-R1-671BMiniMax-Test-014560MiniMax-VL-014560DeepSeek-R1-DeepSeek-R1-Distill-Qwen-1.5B,Distill-Qwen-32B,Phi-4.140153202025年1月2025年1月2025年1月2025年1月2025年1月2025年1月技術(shù)路徑的循環(huán)：算法創(chuàng)新再次成為新的突破點AI技術(shù)創(chuàng)新一直在圍繞核心三要素在動態(tài)循環(huán)，2025年再次進入算法創(chuàng)新階段?算法創(chuàng)新算力創(chuàng)新數(shù)據(jù)創(chuàng)新算法創(chuàng)新算法創(chuàng)新時間時間不能因為唐僧克服千難萬險步行到西天取到真經(jīng)——DeepSeek的突破邊界與浙大先生的未來圖景有了大模型（LLM）為什么還需要智能體（Agent)？AI發(fā)展過程AI大模型正迎來從簡單推理到深度思考的時代起源期起源期萌芽期成長期成熟期2011年Apple公司推出人臉識別等CV技術(shù)得到廣泛使用。2021年ChatGPT發(fā)布，以其自然語言交互與多場景內(nèi)容生成能力為核心的LLM技術(shù)得到廣泛關(guān)注。2024年，以DeepSeekR1/OpenAIo1為代表的深度思考模型破圈，人類離AGI時代的到來又近了一步。翰·麥卡錫提出“人工智能”概念，并將“AI”首次作為一個學(xué)科被提出。1959年ArthurSamuel首次提出“機器學(xué)習(xí)”概念。優(yōu)化大模型表現(xiàn)的幾大手段大模型在場景落地時，會存在部署推理成本高、專業(yè)知識不足、幻覺問題嚴(yán)重等問題因此在專業(yè)級市場，需要基于以下手段，提升大①模型蒸餾①模型蒸餾②模型微調(diào)②模型微調(diào)身能力”，但可以作為外掛，提升大從大模型到智能體，AI應(yīng)用交互的進化的必然之路?通過語言用戶界面，依賴用戶給出的清晰明確的指令來完成任務(wù)?通過對話式給出輸出，但是無法直接完成用戶的目標(biāo)，即只具備“你問我答能力”，無法實現(xiàn)“你說我做”Agent：具備自主能力的新一代AI應(yīng)用?具備推理和規(guī)劃能力，無需用戶給出非常明確的指令?并非輔助用戶完成特定任務(wù)，而是基于用戶提出的目標(biāo)，自動理解目標(biāo)并完成用戶的任務(wù)有了大模型，還需要智能體LLM通常是基于對輸入文本的理解來生成響應(yīng)，缺乏明確的目標(biāo)導(dǎo)向和主動執(zhí)行任務(wù)的能力。Agent智Agent智能體可以根據(jù)用戶設(shè)定的會議安排目標(biāo)，自動查詢參會多模態(tài)與環(huán)境交互現(xiàn)實世界中的很多任務(wù)需要與多種模態(tài)的信息進行交互，如視覺、聽覺、物理環(huán)境等，體可以配備各種傳感器和執(zhí)行器，實現(xiàn)與多模態(tài)環(huán)境的交互。比如在智能家居控制中，Agent智能體可以通過攝像頭識別環(huán)在復(fù)雜和動態(tài)的環(huán)境中，需要有自主性和決策能力來應(yīng)對各種情況。Agent智能體具有自主性，能夠根據(jù)自身的知識、經(jīng)驗和當(dāng)前環(huán)境狀態(tài)，獨立地做出決策并采取行動。例如在自動駕駛場景中，Agent智能體需要根據(jù)實時的路況、交通信號、行用戶在與智能系統(tǒng)交互時，往往希望得到個性化的服務(wù)和長期的陪伴。Agent智能體可以建立用戶模型，記錄用戶的偏習(xí)慣和歷史交互信息，從而提供更加個性化的服務(wù)和更加連貫的長期交互。比如在智能教育領(lǐng)域，Agent智能體可以根據(jù)學(xué)生的學(xué)習(xí)進度、知識掌握情況，為其量身定制學(xué)習(xí)計劃和輔導(dǎo)個性化與長期交互系統(tǒng)整合與協(xié)作在實際應(yīng)用中，往往需要整合多個系統(tǒng)和資源來完成復(fù)雜的任務(wù)。Agent智能體可以作為一個中間協(xié)調(diào)者，與不同的系統(tǒng)和服務(wù)進行交互和協(xié)作。例如在醫(yī)療領(lǐng)域，Agent智能體可以連接電子病歷系統(tǒng)、醫(yī)學(xué)影像系統(tǒng)、醫(yī)生的診斷工具等，協(xié)調(diào)各大模型與智能體的螺旋共生關(guān)系智能體（AI大模型與智能體的螺旋共生關(guān)系智能體（AIAgent）由Instruction、Knowledge、Action、Memory等多個模塊組建助理成功后，可以通過聊天、事件感知、定時等多種觸發(fā)方式發(fā)起對AI助理的運行，在接受輸入、思考、輸出AgentAgent智能體開發(fā)時代的到來智能體開發(fā)?從“開發(fā)”轉(zhuǎn)為“創(chuàng)作”，真正的人人都是AI創(chuàng)作者的時代智能體開發(fā)?通過多模態(tài)能力，讓智能體的交互體驗比肩APP智能體開發(fā)?多個智能體通過“工作流”的定義，實現(xiàn)相互協(xié)同，共同完成復(fù)雜任務(wù)把助理們拉到一個協(xié)在群里和助理們做協(xié)同智能體開發(fā)?基于平臺能力，賦能師生構(gòu)建不同“段位”的智能體應(yīng)用。+5分鐘創(chuàng)建一個應(yīng)用5分鐘創(chuàng)建一個應(yīng)用為應(yīng)用裝上記憶和手腳讓應(yīng)用像人一樣思考人人都是AI創(chuàng)作者時代，用Agent重塑工作方式DeepSeek多場景全面接入?三大基礎(chǔ)運營商、超過15家芯片廠家、200多家企業(yè)（涉及云服務(wù)、網(wǎng)絡(luò)科技、金融等領(lǐng)域）、多個手機廠商和車企，以及地方政府政務(wù)系統(tǒng)等。此外，世界級的云計算巨頭如微軟、英偉達、亞馬遜也宣布接入DeepSeek。?DeepSeek的“朋友圈”不斷擴大?在AI領(lǐng)域的創(chuàng)新性和實用性DeepSeek多場景全面接入Agent雙螺旋式智能演進提供認(rèn)知底座處處用AI，人人會AI——以“浙大先生”為例——DeepSeek的突破邊界與浙大先生的未來圖景2025春天來了懂浪漫的“浙大先生”——基于DeepSeek與Carsi賦能智慧教育新生態(tài)發(fā)布會于2025年2月14日圓滿落幕發(fā)布“浙大先生+DeepSeek+發(fā)布“浙大先生+DeepSeek+CARSI”AI聯(lián)盟賦能教育發(fā)展CARSI助力浙江大學(xué)成為第三個解鎖“校建資源提供者”身份的高校，可借助CARSI全球化渠道，將學(xué)校自建的特色應(yīng)用資源“大先生”提供CARSI聯(lián)盟高校和全球聯(lián)盟eduGAIN資源的應(yīng)用范圍和影響力。聯(lián)盟以“共享、協(xié)創(chuàng)、普惠”為核心目標(biāo)，旨在促進AI技術(shù)與教育的深度整合，構(gòu)建一個多層次的AI教育合作發(fā)展生態(tài)。在AI教育研究、應(yīng)用、推廣與連接面向，通過推動AI技術(shù)在教育領(lǐng)域的深入應(yīng)用和廣泛普及。理事會AI智能體聚合中心執(zhí)行委員會理事會AI智能體聚合中心執(zhí)行委員會AI大模型共享倉庫牽手CARSI賦能教育發(fā)展?fàn)渴諧ARSI賦能教育發(fā)展“浙大先生”智能體開發(fā)平臺（）與CARSI對接中新模型：提供創(chuàng)建基于DeepSeek模型的智能問答對話的服務(wù)能力門戶升級：智能體廣場集成更多校園全場景的智能體應(yīng)用門戶升級：開發(fā)者中心門戶升級：智創(chuàng)工坊門戶升級：智匯任務(wù)臺應(yīng)用升級：學(xué)在浙大應(yīng)用升級：應(yīng)用升級：學(xué)在浙大應(yīng)用升級：應(yīng)用升級：學(xué)在浙大應(yīng)用升級：學(xué)在浙大應(yīng)用升級：學(xué)在浙大應(yīng)用升級：學(xué)在浙大應(yīng)用升級：學(xué)在浙大AI賦能的學(xué)習(xí)門戶和AI學(xué)伴多意圖AI會話學(xué)習(xí)知識講解意圖知識講解意圖應(yīng)用升級：智云課堂AI規(guī)劃個性化學(xué)習(xí)內(nèi)容題型自主測驗應(yīng)用升級：ETalk-口語對話平臺觀止ETalk觀止ETalk口語對話平臺是一款基于多模態(tài)大模型技術(shù)的口語學(xué)習(xí)指導(dǎo)工具，通過動態(tài)適配全校本科生的語言理解、口語水平的差異，同步課堂教學(xué)進度、引導(dǎo)學(xué)生運用、記憶所學(xué)內(nèi)容?；诤Ａ拷虒W(xué)案例及對話語料，實現(xiàn)高?？谡Z教學(xué)領(lǐng)域的專業(yè)模型訓(xùn)練及微調(diào)。該平臺圍繞主題對話、腳本練習(xí)、語句潤色及自由對話四大應(yīng)用場景，為學(xué)生提供便捷高效的口語對話訓(xùn)練案例及指導(dǎo)。主題教學(xué)實現(xiàn)內(nèi)容分級，圍繞教學(xué)主題與腳本練習(xí)水平測試試模擬真實對話場景浙江大學(xué)外國語學(xué)院實踐案例應(yīng)用升級：Etalk—口語對話平臺接入DeepSeek賦能，基于外語學(xué)院口語對話場景負(fù)載測試個性化、多主題、高響應(yīng)的對話場景測試維度DeepSeekV3LLama3-8b??動態(tài)上下文緩存機制：長對話場景內(nèi)存占用減少40%?量化壓縮技術(shù)：模型體積壓縮?ROI對比：相同預(yù)算下，V3可?長文本場景運維人力節(jié)省35%（自動緩存明顯可取代人工優(yōu)成本大幅降低超長對話緩存10ktokens上下文準(zhǔn)確率98%超5ktokens后準(zhǔn)確率下降40%●非標(biāo)準(zhǔn)表達誤判率超25%打造你心中的“AI校園”場館活動搜索學(xué)?；顒由鐖F活動課程搜索邀請課AI校園辦事辦事流程查看新生向?qū)氯巳雽W(xué)引導(dǎo)場館百事通場館預(yù)約找人人事圖表使用平臺能力，可根據(jù)各自在校的日常需求，開發(fā)食堂、圖書館、社團等專屬于浙大的智能體應(yīng)用，一起打造AI生態(tài)！打造你心中的“AI校園”大先生平臺與浙大師生深度合作，以教學(xué)、生活等多元場景為核心，完善校園應(yīng)用場景知識庫。融合DeepSeek-R1，全方位打造高效智慧的AI校園應(yīng)用生態(tài)，賦能校園智能化升級。場景建設(shè)案例—AI輔助機械設(shè)計課前AI-ADAI-ADAI輔助機械設(shè)計未來場景建設(shè)—AI創(chuàng)意創(chuàng)作大先生平臺結(jié)合DeepSeek-R1，利用