機器學(xué)習(xí)中激動人心的趨勢：來自谷歌研究團隊的見解

ai.google/research/people/機器學(xué)習(xí)中的激動人心的趨勢ai.google/research/pe問題可以匿名提交為全球影響而設(shè)立為全球影響而設(shè)立的Al、數(shù)據(jù)和計算研究所—些觀察增加規(guī)模(計算、數(shù)據(jù)、模型大小)會帶來更好的結(jié)果我們想要運行的計算類型以及我們運行它們的硬件正在發(fā)生巨大變化“l(fā)eopard”“Bonjour,commentallez-vous?”輸出輸出"豹子""你好，你好嗎?""Bonjour,你好嗎?""一只獵豹躺在一輛車頂上谷歌Source:/sota/iAlexNet:在ImageNet競賽中使用的第一個神經(jīng)網(wǎng)絡(luò)63.3%InceptionV2-Net20112012201320142015201620172018MetaPseudoLabels(EfficieLibriSpeech測試中的語音識別-其他深度語音2Conv+Transformer-AM-(帶TransforConformer+Wav2vec2.0+SpecAugment-基于Libri-Light的嘈雜學(xué)生訓(xùn)練02016年7月2017年1月2017年7月2018年1月2018年7月2019年1月2019年7月2020年1月2020年7月2021年1月2021年7月5"外面有多冷?"機器學(xué)習(xí)優(yōu)化硬件效率更高從一代到下一代的重大改進 X二降低精度,可以少數(shù)特定操作是In-DatacenterPerformanceAnalysisofaTensorProcessingADomain-SpecificSupe(僅推斷)/芯片液冷液冷每個Pod的芯片數(shù)芯片Bf16TFLOPS芯片Int8TOPS無HBM帶寬(GB/s)每個芯片的ICl帶寬(Gb/s)4.1艾克萬浮點運算，8960個芯片LargeLanguageModelsinThispaperreportsontheiscapableofprovidingsmoothedprobabil-StupidBackoff,thatofKneser-NeySmoothingastheamountof十五年的語言模型進展大規(guī)模N-gram模型(2007年)機器翻譯中的大型語言模型ThorstenBrantsAsho中的好處。提出了一個分布式基礎(chǔ)設(shè)施，我們用它來訓(xùn)練多達2萬億個標(biāo)記，從而產(chǎn)生具有多達3000億個n-gram的語言模型。它能夠為快速、單次解碼提供平滑的概率。我們引大型數(shù)據(jù)集上訓(xùn)練成本低廉，并且隨著訓(xùn)練數(shù)EfficientEstimationofWordRejeff@ICLR2013workshop,https:/DistributedRepresentationsofWordsandPhrasesTomasMikolovMountainViewMountainViewMountainViewGregCorradoMountainView十五年的語言模型進展Word2Vec(2013年)TomasMikolovGoogleInc.,加利福尼亞州山景城GoogleInc.,GoogleInc.,加利福尼亞州山景城GregCorradoGoogleInc.,加利福尼亞州山景城GoogleInc.,加利福尼亞州山景城jeff@分布式表示是強大的IlyaSutskeverilyasu@kai@國王-女王≈男人-女人谷歌公司谷歌公司jeff@withNeuralNetworks十五年的語言模型進展序列到序列(2014年)谷歌序列到序列學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)亞爾斯谷歌WWZZ使用神經(jīng)編碼器對輸入序列進行狀態(tài)生成，然后用該狀態(tài)初始化神經(jīng)解碼器的狀態(tài)。擴展LSTM,這樣就可以運行。ANeuralConversationalMvinyals@qvl@十五年的語言模型進展神經(jīng)聊天機器人：一個神經(jīng)對話模型(2015年)一個神經(jīng)對話模型(前面的句子)無是wzNxNx十五年的語言模型進展Transformer模型(2017年)注意力就是一切AidanN.Gomez*t多倫多大學(xué)不要試圖將狀態(tài)強加到單一的遞歸分布表示中。相反，保存所有過去的表示并關(guān)注它們。更高的準(zhǔn)確性，計算量減少10倍至100倍!apoorvk,gnemade,yifen十五年的語言模型進展朝著人類化的開放領(lǐng)域聊天機器人DanielAdiwardanaMinh-ThangLuongNoahFiedelRomalThoppilanZiYangApoorvKulshreshthaGauravNemadeYifengLuQuocVapoorvk,gnemade,yifenglu,q擴大規(guī)模并在會話式數(shù)據(jù)上進行訓(xùn)練，使用新的“合理性和特異性平均值”指標(biāo)評估，取得了，十五年的語言模型進展神經(jīng)聊天機器人：神經(jīng)對話模型(2015年)Meena(2020年)神經(jīng)語言模型的發(fā)展：序列到序列(2014年)地鼠(2021年：280億)雙子座(2023年)ChatGPT(2022年)T5(2020年：110億)PALM(2022年：540億)巴德(2023年)Transformer(2017年)毛絲鼠(2022年：70億)https://blog.google/technology/ai/google-gemini-aihttps://g.co/g項目于2023年2月開始許多來自GoogleDeepMind、GoogleResearch和Google其他部門的合作者目標(biāo)：訓(xùn)練世界上最好的多模態(tài)模型，并在整個Google中使用它們AaAaFigure2|Geminisupportsbytokensofdifferen雙子座-從一開始就是多模態(tài)的Aa輸出交錯的圖像和文本響應(yīng)。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMo雙子座模型尺寸類別口超級一-用于高度復(fù)雜任務(wù)的最大和最有能力的模型，是跨廣泛任務(wù)范圍●專業(yè)一擴展的最佳模型，是用于設(shè)備上任務(wù)的高效模型(1.8B和3.●納米—25B參數(shù)，量化為4位)雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805雙子座訓(xùn)練基礎(chǔ)設(shè)施：路徑·Gemini:AFamilyofHighlyCapableMultimodalMo●最小化故障很重要，但同時也要最小化恢復(fù)時間Gemini使用快速從模型狀態(tài)的其他數(shù)將恢復(fù)時間從幾分鐘縮短到幾秒PaLM模型訓(xùn)練的吞吐量為85%=>即使在更大規(guī)模下，GeminiUltra的吞吐量也達到97%雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805Gemini:AFamilyofHighlyCapableMultimodalMoGemini訓(xùn)練數(shù)據(jù)網(wǎng)絡(luò)文檔，書籍和代碼，以及圖像，音頻和視頻數(shù)據(jù)。所有數(shù)據(jù)集的質(zhì)量過濾：啟發(fā)式+基于模型的分類器通過對較小模型進行消融確定最終數(shù)據(jù)混合/權(quán)重在訓(xùn)練結(jié)束時增加領(lǐng)域相關(guān)數(shù)據(jù)的權(quán)重雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805進展(要求模型“展示他們的工作”可以提高準(zhǔn)確性和可解釋性)Q:ShawnhasfivetoyQ:ShawnhasfivetoySchuurmans,MaartenBosma,EdChi,Quoc他現(xiàn)在有多少個?答案是9。問題：約翰照顧10只狗。每只狗每天需要0.5小時遛狗和照顧它們的生意。他每周花多少小時照顧模型模型思維鏈引發(fā)輸入：輸入：各得到2個玩具，那就是多了4個玩具。5+4=9。答案是輸出：約翰照顧10只狗。每只狗每天需要0.5小時遛狗和處理輸出：Schuurmans,MaartenBosma,EdChi,Qu思維鏈模型規(guī)模(#參數(shù)，以十億計)23.AskierslidesdownDidthestudentgetthecorrectanMakesuretouseLaTeXformathandroundoffthefinalanswertotwooftheslope.Thestudentusedthelengthofthe。學(xué)生在計算勢能時使用了坡道的長度L,而不是高度H。在坡道開始時，滑雪者只有勢能，即mgh?；┱呦嗤陂_始和結(jié)束時相同：在開始時學(xué)生是否得到了正確答案?如果解決方案錯誤，請解釋錯誤之處并解決問題。r雙子座評估●幫助識別模型的優(yōu)勢和劣勢●幫助了解在線方式中的"訓(xùn)練進展如何"●幫助做出改進的決策從自然圖像、音頻和視頻理解到數(shù)學(xué)推理，GeminiUltra在32個廣泛使用的大型語言模型(LLM)研究和開發(fā)中的學(xué)術(shù)基準(zhǔn)中的30個中超越了當(dāng)前最先進的結(jié)果。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805CapabilityBCapabilityBandothers)requiringmuli-stepreaBasicarithmeticmanipulatChallengingmathproutdatasetHumanEval雙子座基準(zhǔn)(報告)(F1得分)(報告)問題)94.4%的準(zhǔn)確率@32具有挑戰(zhàn)性的數(shù)學(xué)問題(包分等)4-射出Python代碼生成0-時擊(T)《報告)188.1%GoogleDePlot,1-shoMathematicalreason86.1%Naturalimageunderstzero-shot,especiallyforOCR-relatedimageunderstandingt雙子座雙子座圖像基準(zhǔn)A(僅像素)(僅像素)(僅像素)(僅像素)多學(xué)科大學(xué)水平問題(Yue等人，2023年)(Singh等人，2019年)DocVQA(測試)(Mathew等人，2021年)ChartQA(測試)圖表理解(Masry等人，2022)InfographicVQA(測試)(Mathew等人，2022)MathVista(測試迷你版)(Lu等人，2023)Al2D(測試)(Kembhavi等人，2016)VQAV2(測試-開發(fā))自然圖像理解(Goyal等人，2017)(僅像素)(僅像素)(Liu等人，2023)表7|圖像理解GeminiUltra在零-shot情況下始終優(yōu)于現(xiàn)有方法，特別是對于自然圖像、文本、文檔和圖表的OCR相關(guān)圖像理解任務(wù)，而不使用任何外部OCR引擎(僅像素)。許多現(xiàn)有方法在各自的任務(wù)上進行微調(diào)，用灰色突出顯示，這使得與0-shot的比較不是蘋果對蘋果。雙子座：一系列高度能干的多模態(tài)模型，由雙子座團隊提供，/abs/2312.11805DeepMindFlamingo,4--DeepMindFlamingo,4-VideoquestionanswDeepMindFlamingo,0VideoquestionanswVideoquestionansw雙子座雙子座基準(zhǔn)測試(王等，2019年)-中文視頻字幕(王等，2019年)(周等人，2018年)(蕭等人，2021年)ActivityNet-QA(測試)(于等人，2019年)(帕特勞切安等人，2023年)表10|在選定的學(xué)術(shù)基準(zhǔn)上跨任務(wù)和語言進行少樣本視頻理解。報告的度量標(biāo)準(zhǔn)是視頻字幕的CIDER,Ndeo-LLAVA(林等人，2023年)評估協(xié)議。9.1%GeminiNano1SOTAon4of5Table4|PerformanceofGeminim雙子座基準(zhǔn)5項中的5項SOTA納米-1納米-1(OpenAl,2023;(張等人，Radfor自動語音識別多語言(Pratap等人，2020)(62種語言)9.1%(14種語言)(Wang等人，2021年)自動語音翻譯(21種語言)(Wang等人，2020年)雙子座雙子座(平均BLEURT)GeminiNano2高資源中等資源所有語言5個中的4個上的SOTA話))Sure.Thereversedstringsof"①①print(reverse_string("TensorThiscodefirstdefinesafunc①查看其他草稿√當(dāng)然?！癏otChips”和“TensorProcessingUnit”的反轉(zhuǎn)字符串分別為“spihCtoH”和“tinUgnissecorProsneT”。reversed_string這段代碼首先定義了一個名為reverse_string()的函數(shù)。該函數(shù)接受一個字符串作為輸入，并返回一個反轉(zhuǎn)的字符串。該函數(shù)通過從末尾到開頭循環(huán)遍歷字符串，并將每個字母添加到反轉(zhuǎn)的字口HerearesomeofthekeyfeaturesofTPUs:·Theyaredesigned·Theyareavailableforpurclanguageprocessingandimagconsider.Theycanhelp當(dāng)然。TensorProcessingUnits(TPUs)是由谷歌開發(fā)的專門用于加速機器學(xué)習(xí)的硬件處理器。TPUs專門設(shè)計用于處理張量運算，這占據(jù)了深度學(xué)習(xí)模型中大部分計算量。對于機器學(xué)習(xí)任務(wù)，TPUs比通用處理器(CPU)或圖形處理器(GPU)快得多。這是因為TPUs被設(shè)計為非常高效地執(zhí)行矩陣乘法，這是深度學(xué)習(xí)中的關(guān)鍵操作。TPUs被用于各種谷歌產(chǎn)品，包括谷歌搜索，谷歌翻譯和谷歌相冊。它們也被第三方公司用來開發(fā)他們自己的機器學(xué)習(xí)應(yīng)用程序。以下是TPUs的一些關(guān)鍵特點：·它們專門設(shè)計用于機器學(xué)習(xí)任務(wù)?！に鼈兛梢员坏谌焦举徺I。用硬件處理器，用于加速機器學(xué)習(xí)。"TPUs是加速機器學(xué)習(xí)應(yīng)用程序的寶貴工具。它們可以幫助改善機器學(xué)習(xí)模型的性能和效率，從而加快機器學(xué)習(xí)應(yīng)用程序的開發(fā)和部以下是使用TPUS進行機器學(xué)習(xí)的一些好處：·更快的訓(xùn)練和推斷：TPUs可以顯著加快機器學(xué)習(xí)模型的訓(xùn)練和推斷速度。這對于需要實時或準(zhǔn)實時推斷的應(yīng)用程序，如自動駕駛汽車或欺詐檢測，可以是一個重要優(yōu)勢?！そ档统杀荆篢PU比CPU或GPU更節(jié)能，這可以降低訓(xùn)練和推理的成本。這對于大規(guī)模機器學(xué)習(xí)應(yīng)用特別重要，比如谷歌搜索或Facebook使用的應(yīng)用。·更好的性能：TPU在某些機器學(xué)習(xí)任務(wù)中可以實現(xiàn)比CPU或GPU更好的性能，比如自然語言處理和圖像識別。這是因為TPU專門為這些類型的任務(wù)設(shè)計的。如果您正在開發(fā)一個需要高性能和效率的機器學(xué)習(xí)應(yīng)用程序，那么TPU是一個值得考慮的好選擇。它們可以幫助您提高應(yīng)用程序的性能、效率和成本。谷歌希望這有所幫助!如果您有任何其他問題，請告訴我。Total#models:56.Total#votes:244024.Lastupdated:Jan26,2024.12345678Mixtral-8x7b-9Imsys聊天競技場評估：用戶輸入提示并看到來自兩個不同的匿名聊天機器人的回復(fù)，并然后可以計算EloImsys聊天競技場評估：用戶輸入提示并看到來自兩個不同的匿名聊天機器人的回復(fù)，并然后可以計算Elo分?jǐn)?shù)(類賽的頭對頭排名)Elo高100意味著贏~64%的時間(Elo經(jīng)過校準(zhǔn)，所以400分差距是10:1的優(yōu)勢)排名▲投票1專有的2巴德(GeminiPro)谷歌專有的34專有的專有的5678克勞德-1專有的專有的克勞德-2.0專有的9GeminiPro(開發(fā)API).谷歌專有的克勞德-2.1專有的專有的這真的很不錯?？纯催@個例子：JeffJeffDean(@金)@JeffDean·Jan26顯示更多2024年1月26日上午9點33分，查看次數(shù)為22.5千https://g.co/bard/share/eb4cdd6Taiwan,andSingapore.Presentyournumbersint))Singapore.tsimportanttonotethatthesearejusof"company"used.However,thistableshouldgive國家人口(百萬)公司(千)美國韓國臺灣