Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)-核心業(yè)務(wù)觸底回升_第1頁(yè)
Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)-核心業(yè)務(wù)觸底回升_第2頁(yè)
Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)-核心業(yè)務(wù)觸底回升_第3頁(yè)
Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)-核心業(yè)務(wù)觸底回升_第4頁(yè)
Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)-核心業(yè)務(wù)觸底回升_第5頁(yè)
已閱讀5頁(yè),還剩23頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

Meta公司研究報(bào)告全球領(lǐng)先的社交生態(tài)_核心業(yè)務(wù)觸底回升(報(bào)告出品方/作者:中信建投,孫曉磊,崔世峰)1.公司分析:全球領(lǐng)先的社交生態(tài),核心業(yè)務(wù)觸底回升1.1、公司概況:社交媒體巨頭Meta為全球社交媒體公司巨頭,以廣告收入為核心,并著力開拓元宇宙。Facebook于2004年2月4日由美國(guó)人馬克扎克伯格創(chuàng)建,是美國(guó)的一個(gè)社交網(wǎng)絡(luò)服務(wù)網(wǎng)站,也是世界排名領(lǐng)先的照片分享站。公司建立各種工具,使用戶能夠連接,分享,探索,并相互通訊。2021年10月28日,該公司將公司名由FacebookInc.變更為MetaPlatforms,Inc.,標(biāo)志著公司全面進(jìn)入元宇宙領(lǐng)域。發(fā)展歷程方面,Meta成立近20年,由單一社交媒體互聯(lián)網(wǎng)公司Facebook轉(zhuǎn)型為目前多元化的互聯(lián)網(wǎng)公司,其發(fā)展歷程大致分為三個(gè)階段。第一階段(2004年-2011年):2004年2月,“theF”上線,起初,網(wǎng)站以各大學(xué)作為根據(jù)地,之后,在Facebook中也可以建立起高中和公司的社會(huì)化網(wǎng)絡(luò)。到2010年,世界品牌500強(qiáng)中Facebook超越微軟位居第一,F(xiàn)acebook月活用戶突破5億。第二階段(2012年-2020年):這一階段,F(xiàn)acebook開始搭建社交媒體矩陣,并先后于2012年收購(gòu)Instagram,于2014年收購(gòu)WhatsApp及OculusVR,公司借助Instagram由圖片向視頻轉(zhuǎn)型,借助WhatsApp完善即時(shí)通訊功能并借助Oculus展開VR領(lǐng)域布局。同時(shí),這段時(shí)間Facebook也迎來了強(qiáng)勁增長(zhǎng),2017年其用戶數(shù)量達(dá)到20億人次,成為了全球范圍內(nèi)最大的社交媒體平臺(tái)之一。第三階段(2021年至今):Facebook于2021年11月正式更名為Meta,調(diào)整其公司架構(gòu),并全力轉(zhuǎn)型元宇宙領(lǐng)域的布局與發(fā)展。此外,疫情紅利期后用戶增長(zhǎng)進(jìn)入新常態(tài),短視頻成為下一發(fā)力重心。22年全年Meta全生態(tài)用戶增速降至2.8%,增長(zhǎng)放緩。受短視頻TikTok沖擊,Meta加強(qiáng)Reels的宣傳和建設(shè)以爭(zhēng)奪短視頻市場(chǎng)。2022年第一季度,Reels已占據(jù)Instagram用戶使用時(shí)間的20%,2022年第二季度,用戶使用Reels時(shí)長(zhǎng)環(huán)比增幅超30%,此外公司開始探索Reels的商業(yè)化,并在2023年開始加速商業(yè)化進(jìn)程。Meta擁有全球用戶規(guī)模最大的社交媒體矩陣。通過熟人社交、圖文分享及即時(shí)通訊多領(lǐng)域發(fā)展,Meta打造了自己的社交媒體產(chǎn)品矩陣,并已可以滿足大多數(shù)國(guó)家用戶的社交需求。在近20年的成長(zhǎng)過程中,以Facebook平臺(tái)為核心,通過自設(shè)、收購(gòu)等方式,圍繞社交領(lǐng)域逐漸延伸自己的能力圈。截止2022年底,F(xiàn)acebook主App為全球月活最高、訪問量最多的社交媒體平臺(tái)之一,Instagram、Messenger、WhatsApp的用戶數(shù)也處于領(lǐng)先水平。截止2023年4月,F(xiàn)acebook的MAU達(dá)到22億,同比增長(zhǎng)1.4%,Instagram、Messenger、WhatsApp的MAU分別達(dá)到14、12、19億,分別增長(zhǎng)5.8%、-7.6%及2.8%。從廣告收入的角度對(duì)比各家社交媒體平臺(tái),Meta位居全球第二,僅次于谷歌。2022年全年Meta廣告收入為1136億美元,遠(yuǎn)超字節(jié)、騰訊、等社交媒體平臺(tái)。對(duì)于未來的用戶增長(zhǎng)空間,F(xiàn)acebook需要發(fā)揮整個(gè)生態(tài)的力量。Facebook主平臺(tái)用戶增長(zhǎng)幾近“穩(wěn)態(tài)”,從地域維度看,F(xiàn)acebook在歐美地區(qū)增長(zhǎng)基本已經(jīng)停滯,而在亞太區(qū)增長(zhǎng)也僅為個(gè)位數(shù)。2020年疫情帶來線上滲透率增加的紅利在近兩年基本吃盡,未來用戶增長(zhǎng)更多靠互聯(lián)網(wǎng)滲透率自然提升帶來。管理團(tuán)隊(duì)方面,公司一直由馬克扎克伯格擔(dān)任首席執(zhí)行官,其余各部門負(fù)責(zé)人均一直處于變動(dòng)中。MarkZuckerberg在AndrewMcCollum和EduardoSaverin的支持下,于2004年2月創(chuàng)辦了“TheFacebook”,2018年,新聘法律總顧問TheodoreW.Ullyot;新聘副總裁TheodoreW.Ullyot;新聘公司秘書TheodoreW.Ullyot,之后,公司各職位人員均處在不斷變化中,目前公司的高管團(tuán)隊(duì)由CEO馬克扎克伯格及首席財(cái)務(wù)、運(yùn)營(yíng)、技術(shù)、會(huì)計(jì)、法務(wù)、產(chǎn)品、戰(zhàn)略官八人組成。組織架構(gòu)方面,Meta組織架構(gòu)經(jīng)過兩次調(diào)整。2004年2月4日,F(xiàn)acebook創(chuàng)立于哈佛大學(xué)校園,主要?jiǎng)?chuàng)始人馬克扎克伯格。2018年5月Meta迎來成立以來最大組織架構(gòu)變動(dòng),公司宣布將成立3個(gè)新部門,一個(gè)“應(yīng)用家庭”部門(包括Facebook、Instagram、WhatsApp和Messenger),一個(gè)新平臺(tái)部門(包括區(qū)塊鏈技術(shù)團(tuán)隊(duì)、增強(qiáng)和虛擬現(xiàn)實(shí)、企業(yè)技術(shù)和人工智能),以及一個(gè)“中心產(chǎn)品服務(wù)團(tuán)隊(duì)”(包括廣告、數(shù)據(jù)分析和安全等共享資源)。2021年12月,MetaPlatforms將其AI團(tuán)隊(duì)合并入負(fù)責(zé)開發(fā)AR/VR產(chǎn)品的RealityLabs部門。1.2、財(cái)務(wù)分析:走出陰霾,收入觸底回升收入結(jié)構(gòu)上,廣告收入是公司主要營(yíng)收來源,絕大多數(shù)收入來自應(yīng)用家族出售的廣告位,占比始終超過97%。Meta收入包括應(yīng)用家族帶來的廣告業(yè)務(wù)和其他收入,以及虛擬現(xiàn)實(shí)業(yè)務(wù)的收入。2022年全年由于宏觀環(huán)境的走弱,公司實(shí)現(xiàn)營(yíng)業(yè)收入1166億美元,同比下滑1%,為近五年以來首次出現(xiàn)下降趨勢(shì)。而隨著23Q1需求的恢復(fù),公司收入重回增長(zhǎng)曲線,2023Q1公司實(shí)現(xiàn)營(yíng)收286.5億美元,同比增長(zhǎng)3%。22年以來凈利潤(rùn)下滑,主要系元宇宙投入,今年開始公司重點(diǎn)將回歸廣告業(yè)務(wù),減少VR投入。FY17-FY22,Meta毛利率基本保持穩(wěn)定。得益于2020疫情以來在線娛樂生活的需求增長(zhǎng),公司2020-2021年凈利潤(rùn)增長(zhǎng)超過30%。但2022年凈利潤(rùn)232億美元,同比減少41%,主要在于元宇宙業(yè)務(wù)的巨額投入導(dǎo)致的虧損。2023Q1凈利潤(rùn)57億美元,同比減少24%,降幅有所收窄,盈利提升源于營(yíng)銷削減,裁員效果將在后續(xù)幾個(gè)季度逐步體現(xiàn)。一季度Meta整體經(jīng)營(yíng)利潤(rùn)率回到25%,環(huán)比提升了5pct。其中VR虧損加大,但廣告為主的App服務(wù),經(jīng)營(yíng)利潤(rùn)率環(huán)比提升了5.6pct。費(fèi)用率方面,2022年各項(xiàng)費(fèi)用均有大幅增長(zhǎng),但一季度及后續(xù)將出現(xiàn)明顯優(yōu)化。一季度Meta裁員上萬人,但由于當(dāng)期還有遣散費(fèi)補(bǔ)償,裁員效果還未能很好體現(xiàn)。因此一季度的盈利提升,除了成本上相比四季度少了服務(wù)器重組費(fèi)用外,還主要來源于營(yíng)銷費(fèi)用的大幅減少。剔除一次性費(fèi)用之后的真實(shí)經(jīng)營(yíng)利潤(rùn)率實(shí)際上已經(jīng)恢復(fù)到29%,但與歷史水平相比,還有優(yōu)化空間。二季度仍然會(huì)有裁員補(bǔ)償費(fèi)的影響,今年3月Meta又啟動(dòng)了第三輪的萬人裁員計(jì)劃,預(yù)計(jì)還將產(chǎn)生近5億美元的遣散費(fèi),將在今年后面三個(gè)季度陸續(xù)確認(rèn)。公司對(duì)費(fèi)用端進(jìn)行持續(xù)優(yōu)化,并下調(diào)了2023年費(fèi)用支出指引,從890~950億美元收窄至860~920億美元。Meta近幾個(gè)月采取了多種削減成本的行動(dòng),力求提升盈利能力。2023年資本支出指引保持不變,仍為300~330億美元。Meta將資本開支聚焦到構(gòu)建支持廣告、Feed和短視頻服務(wù)Reels的AI能力、以及增加生成式AI項(xiàng)目能力的投資。我們認(rèn)為,中短期內(nèi),費(fèi)用端的優(yōu)化或顯著改善公司的凈利率水平。2.核心廣告:Facebook和Instagram流量回暖,Reels加速變現(xiàn)以廣告為核心的社交龍頭。同為社交生態(tài)龍頭,Meta與騰訊又有不同,騰訊在商業(yè)化方面多點(diǎn)開花,騰訊主要通過游戲和視頻增值業(yè)務(wù)、廣告、金融科技與企業(yè)服務(wù)三大業(yè)務(wù)進(jìn)行貨幣化,22Q4廣告業(yè)務(wù)占比僅為17%,短短幾年就躍升中國(guó)泛娛樂乃至消費(fèi)互聯(lián)網(wǎng)行業(yè)的絕對(duì)龍頭,而Meta對(duì)自己流量?jī)r(jià)值挖掘,幾乎只做好了廣告這一種商業(yè)模式,從收入結(jié)構(gòu)上看,廣告收入占比始終在97.5%以上。廣告的命脈是宏觀經(jīng)濟(jì)。2022年的廣告市場(chǎng)意料之中的隨著全球經(jīng)濟(jì)放緩而跌進(jìn)塵埃,過去一年內(nèi),包括Meta在內(nèi)的北美互聯(lián)網(wǎng)巨頭日子都相當(dāng)難過,廣告主的預(yù)期也一再保守。而對(duì)于宏觀經(jīng)濟(jì),當(dāng)前可能的最大預(yù)期變化,在于經(jīng)濟(jì)從“強(qiáng)衰退”演繹為“弱增長(zhǎng)”帶來的差異,這將顯著影響廣告主在今年的營(yíng)銷投放節(jié)奏,也包含一定的邊際改善。廣告主對(duì)經(jīng)濟(jì)預(yù)期最謹(jǐn)慎的時(shí)期基本上發(fā)生在去年下半年,尤其是Q3(很多機(jī)構(gòu)快速調(diào)整了營(yíng)銷預(yù)算),四季度雖然也整體偏謹(jǐn)慎,但相比三季度,預(yù)期沒有進(jìn)一步的惡化。我們認(rèn)為三四季度短期過于謹(jǐn)慎的投放節(jié)奏并非今年全年常態(tài),上半年可能會(huì)有慣性保守,但當(dāng)經(jīng)濟(jì)軟著陸預(yù)期越來越強(qiáng),廣告主的營(yíng)銷活動(dòng)也會(huì)逐步恢復(fù),恢復(fù)節(jié)奏有望加快。再加上去年的低基數(shù),預(yù)計(jì)今年下半年的廣告市場(chǎng)會(huì)有顯著回暖的跡象。從22Q4的情況看,Meta廣告業(yè)務(wù)重回正增長(zhǎng),Q2業(yè)績(jī)指引好于預(yù)期。一季度雖然公司面臨較大的宏觀壓力,但依靠零售廣告、AI廣告技術(shù)、短視頻等轉(zhuǎn)型的持續(xù)拉動(dòng),公司在經(jīng)歷長(zhǎng)達(dá)一年的收入逆風(fēng)后重回正增長(zhǎng),并針對(duì)二季度給出相對(duì)較為積極的收入指引。一季度Meta廣告收入286.5億美元,同比增長(zhǎng)4%,超市場(chǎng)預(yù)期,VR業(yè)務(wù)在這個(gè)季度同比下滑了51%,雖然有上年同期高基數(shù)的影響,但本身的用戶需求轉(zhuǎn)淡也是更深層次的拖累因素。公司23Q2的業(yè)績(jī)預(yù)期為295~320億美元(yoy+2%-10%),其中高匯率的負(fù)面影響約1%,公司指引顯著優(yōu)于市場(chǎng)預(yù)期的295億。從單用戶廣告價(jià)值看,Meta在主要地區(qū)的變現(xiàn)率相對(duì)較高??v觀歐美地區(qū)的變現(xiàn)水平,除了歐洲地區(qū)還存在一定的提升空間外,北美地區(qū)在廣告變現(xiàn)上相比其他同行平臺(tái)(Snapchat、YouTube、TikTok),其實(shí)已經(jīng)算達(dá)到一個(gè)極致優(yōu)越的水平,亞太地區(qū)則比較克制。站在當(dāng)前時(shí)點(diǎn),我們認(rèn)為隨著管理層經(jīng)營(yíng)重心從VR回歸廣告的轉(zhuǎn)變,未來在不發(fā)生深度衰退的宏觀背景下,Meta已經(jīng)走完自身的下坡周期,重回增長(zhǎng)通道。回暖的預(yù)期主要基于三駕馬車:1)流量回暖;2)reels帶動(dòng)粘性提升并將繼續(xù)擴(kuò)大變現(xiàn);3)TikTok競(jìng)爭(zhēng)減弱,Meta底層社交護(hù)城河依然難以撼動(dòng)。2.1、流量回暖,粘性上升前文已經(jīng)提到,F(xiàn)acebook主平臺(tái)用戶增長(zhǎng)幾近“穩(wěn)態(tài)”,從地域維度看,F(xiàn)acebook在歐美地區(qū)增長(zhǎng)基本已經(jīng)停滯,而在亞太區(qū)增長(zhǎng)也僅為個(gè)位數(shù)增速,2020年疫情帶來線上滲透率增加的紅利在近兩年基本吃盡。。23Q1公司DAU達(dá)到20.4億,同比增長(zhǎng)3.9%,主要來自于亞太區(qū)用戶貢獻(xiàn),同比增長(zhǎng)5.6%,環(huán)比增長(zhǎng)2.2%;MAU達(dá)到29.9億,同比增長(zhǎng)1.9%,用戶粘性(DAU/MAU)在短視頻Reels的加持下繼續(xù)新高。Facebook主站也在增加,并且環(huán)比上季度有明顯的加快。自從Reels在FB上也優(yōu)先透出后,F(xiàn)acebook從原本幾乎停止增長(zhǎng)到恢復(fù)凈增。展望未來,Reels的加速滲透有望進(jìn)一步推動(dòng)Meta生態(tài)向更多場(chǎng)景滲透,同時(shí)短視頻的形態(tài)也將進(jìn)一步增強(qiáng)用戶粘性。2.2、進(jìn)軍短視頻,依托Facebook和Instagram流量推進(jìn)ReelsMeta旗下Instagram與Facebook先后上線短視頻功能Reels,基于自身成熟用戶生態(tài)和強(qiáng)大流量發(fā)展迅速。2022年第二季度,Reels已占據(jù)Instagram用戶使用時(shí)間的20%,2022年第二季度,用戶使用Reels時(shí)長(zhǎng)環(huán)比增幅超30%,超過45%的Instagram用戶每天都與Reels互動(dòng)。此外公司開始探索Reels的商業(yè)化,并在2023年開始加速商業(yè)化進(jìn)程。Reels于21年初逐步投入廣告以來,廣告收入穩(wěn)步提升,從21Q4占比1%至22Q2占比3.9%。其次對(duì)于Facebook,根據(jù)Tinuiti,在22Q2,F(xiàn)acebook廣告收入主要來源于Feed,占比高達(dá)72.1%,而Reels的廣告收入初露頭角,于22Q2占比達(dá)0.9%(包括ReelsOverlay)。Reels作為22年的重要事項(xiàng)之首,Meta高管認(rèn)為Reels的變現(xiàn)能力大有可觀,截至22Q2,Reels的變現(xiàn)能力已超過了同期的Stories,累計(jì)創(chuàng)收超過10億美元。Meta多次試水短視頻領(lǐng)域,直至推出Reels。2018年11月,Meta開始試水短視頻領(lǐng)域,上線短視頻應(yīng)用“Lasso”,上線后表現(xiàn)不佳,于2020年7月正式關(guān)閉。但是Meta沒有停下發(fā)展短視頻業(yè)務(wù)的腳步,2019年6月Instagram上線短視頻功能“Reels”,用戶可以訪問來自朋友和頁(yè)面的短視頻,2020年8月“Reels”全面登陸全球50余個(gè)市場(chǎng)。2021年9月,F(xiàn)acebook也推出了Reels功能,并在2022年2月向全球150多個(gè)國(guó)家的用戶開放。在Reels推出之前,F(xiàn)acebook和Instagram平臺(tái)的MAU分別在20億和10億以上,且超過60%的用戶年齡在34歲以下,已經(jīng)積攢起完備的年輕用戶池,而將短視頻模塊植入具有較大用戶基礎(chǔ)的Instagram,大幅增強(qiáng)了Reels的競(jìng)爭(zhēng)力。雖然Reels上線時(shí)間尚短,但規(guī)模已經(jīng)形成,是海外短視頻重要玩家之一,在商業(yè)化方面目前也已吸引了部分商家和品牌入駐,廣告商業(yè)化模式已初具雛形。2022年2月,Meta肯定了Instagram中短視頻功能Reels的發(fā)展情況,稱這是Instagram增長(zhǎng)最快的內(nèi)容格式,用戶觀看Reels總時(shí)長(zhǎng)占比超過20%,未來Reels將是Meta重要的戰(zhàn)略發(fā)展方向之一。Reels始終以追趕對(duì)標(biāo)Tiktok的策略為主,從表觀看,Reels的產(chǎn)品設(shè)計(jì)與Tiktok基本一致,但二者由于產(chǎn)品定位不同在算法和分發(fā)邏輯、用戶結(jié)構(gòu)、創(chuàng)作者生態(tài)方面均存在核心差異,這種差異不會(huì)因?yàn)閷?duì)內(nèi)容品類的簡(jiǎn)單模仿而改變。從產(chǎn)品定位看,Reels僅是Facebook生態(tài)的補(bǔ)充模塊,Tiktok作為獨(dú)立短視頻產(chǎn)品更能滿足行為上癮式消遣需求。Reels屬于Instagram的其中一個(gè)模塊,入口并不明顯,不具備獨(dú)立的主頁(yè)面、創(chuàng)作入口,操作略顯繁瑣,而Tiktok相對(duì)直觀,進(jìn)入APP即為短視頻內(nèi)容。單從用戶進(jìn)入短視頻功能后的使用觀感看,Tiktok與Reels差異并不顯著,但從創(chuàng)作者視角看,Tiktok具有明顯優(yōu)勢(shì),主要表現(xiàn)在:創(chuàng)作素材(音樂、特效及濾鏡)、UI設(shè)計(jì)等。首先,Tiktok因版權(quán)購(gòu)買,在音樂資源庫(kù)方面擁有獨(dú)特優(yōu)勢(shì)。Musical.ly前期通過股權(quán)出讓和短時(shí)長(zhǎng)音樂采買的概念獲得了一年一簽的音樂版權(quán)資格,為Tiktok的版權(quán)資源奠定基礎(chǔ);而臉書系受制于版權(quán)政策,音樂庫(kù)資源較少;就特效、濾鏡庫(kù)來說,Tiktok可以從多種效果、模板和濾鏡中選擇濾鏡功能,而Reels側(cè)重于更美觀的修飾濾鏡。音效方面Tiktok有多種有趣音效和畫外音工具,而Reels不能給聲音添加有趣效果;UI設(shè)計(jì)方面,Tiktok的剪輯入口為一級(jí)入口,而Reels的剪輯入口不在主頁(yè)面,降低創(chuàng)作者的使用便捷性。Facebook系應(yīng)用具有強(qiáng)社交屬性,其社交地位難以被TikTok取代。根據(jù)22年10月GWI在16-64歲人群的調(diào)查,47%的互聯(lián)網(wǎng)用戶使用社交媒體的主要原因?yàn)楹团笥押图胰吮3致?lián)絡(luò),排名第一;其次,35.4%的用戶使用社交媒體的原因?yàn)榇虬l(fā)時(shí)間。本質(zhì)上來說,和熟人社交仍是大多數(shù)人使用社交媒體的頭等動(dòng)因。在這點(diǎn)上,盡管目前TikTok發(fā)展十分強(qiáng)悍,但是其依然無法取代Meta在熟人社交和通訊的地位。根據(jù)功能定位,用戶使用Facebook的主要功能為給家人或朋友發(fā)消息,而TikTok的這項(xiàng)活動(dòng)的占比是最低的。因此盡管TikTok對(duì)Meta造成了一定的沖擊,但用戶使用Facebook系應(yīng)用進(jìn)行社交的剛性需求不會(huì)改變,Meta的社交龍頭地位仍難以撼動(dòng)。Tiktok用戶相比Reels更加年輕化,用戶畫像上與Snapchat更為接近。由于功能定位和用戶畫像不同,受TikTok影響最大的可能是Snapchat而非Facebook和Instagram。根據(jù)emarketer,Instagram用戶主要分布在25-34歲之間,其次是18-24歲,而大多數(shù)Tiktok用戶年齡分布在15-24歲之間。Reels算法邏輯整體與Tiktok類似,從側(cè)重上看Tiktok的算法更重內(nèi)容,Reels更重社交,但Tiktok精細(xì)化程度高于Reels。ReelsExplore實(shí)行兩階段排名系統(tǒng)。首先是候選生成階段,在為“探索”頁(yè)面策劃內(nèi)容時(shí),算法首先尋找人們之前與之交互過的“種子”帳戶,分析出一個(gè)人可能感興趣的賬戶。接下來是排名階段,Instagram通過分析人們?cè)诿襟w上已經(jīng)采取的個(gè)人“動(dòng)作”(如“喜歡”、“不喜歡”)來預(yù)測(cè)其何種動(dòng)作能夠表示其對(duì)內(nèi)容的特定態(tài)度,并借此衡量一段內(nèi)容與給定用戶的相關(guān)程度。Tiktok的ForYou推薦系統(tǒng)使用流量池算法機(jī)制:推薦算法遵循螺旋上升機(jī)制進(jìn)行流量分發(fā),不斷使優(yōu)質(zhì)內(nèi)容最大化曝光,社交屬性相對(duì)較弱。此外,Tiktok相較于ReelsExplore的權(quán)重體系更加精細(xì)化。除了與Reels相似的用戶交互行為,播放時(shí)間、視頻詳細(xì)信息、設(shè)備所設(shè)置等多方因素都會(huì)被ForYou算法考慮在內(nèi)。Tiktok的算法打造了相對(duì)更低的創(chuàng)作門檻和更有利于新創(chuàng)作者的分發(fā)機(jī)制,形成更優(yōu)質(zhì)的UGC創(chuàng)作生態(tài)?;谝陨蠈?duì)Tiktok和Reels算法的分析,我們發(fā)現(xiàn):Reels更加傾向于傳達(dá)熟人和關(guān)注對(duì)象、其次是頭部賬號(hào)的短視頻,吸引原有用戶的能力更強(qiáng),新賬號(hào)創(chuàng)作的作品的分發(fā)權(quán)重較低,也不會(huì)被廣泛傳播給潛在的陌生受眾,這導(dǎo)致在Reels發(fā)展新賬號(hào)的冷啟動(dòng)周期更長(zhǎng),抑制了新用戶的創(chuàng)作熱情。而Tiktok的算法更著重于內(nèi)容,能夠出現(xiàn)爆款傳播,對(duì)創(chuàng)作者的正反饋更強(qiáng)。從數(shù)據(jù)上看,Tiktok用戶對(duì)于紅人原生內(nèi)容的互動(dòng)率超過了InstagramReels,而對(duì)于已經(jīng)具有品牌和強(qiáng)大影響力的賬戶在Reels上的影響力更大。InstagramReels多方面對(duì)標(biāo)Tiktok,鼓勵(lì)用戶創(chuàng)作熱門話題的衍生內(nèi)容,拓寬短視頻錄制時(shí)長(zhǎng)范圍,簡(jiǎn)化入口界面設(shè)計(jì)。早先Reels出于對(duì)原創(chuàng)者的版權(quán)保護(hù),并不鼓勵(lì)這類型二創(chuàng),一定程度上阻礙了傳播路徑,無法形成爆款,為改善這一問題Reels推出RemixforPhotos功能,允許用戶重新混合他人視頻,逐步向Tiktok看齊。Reels進(jìn)一步延長(zhǎng)短視頻的錄制時(shí)長(zhǎng)對(duì)標(biāo)Tiktok,此外還宣布15分鐘以內(nèi)的新視頻帖子將自動(dòng)轉(zhuǎn)化到Reels上,這不僅意味著Instagram放寬了短視頻上傳的門檻,還打通了Instagram視頻和Reels的分界。最近Instagram啟動(dòng)了對(duì)全屏的測(cè)試,該測(cè)試將常規(guī)帖子、Stories和Reels合并到一起,復(fù)刻了Tiktok的版面設(shè)計(jì)。3.XR:逐步減虧,新品多點(diǎn)開花3.1、系列產(chǎn)品:收購(gòu)Oculus,全球最大的硬件設(shè)備商目前Meta已發(fā)售六款VR相關(guān)產(chǎn)品。2014年3月,F(xiàn)acebook宣布以20億美元的價(jià)格收購(gòu)了Oculus。2016年,Oculus發(fā)布了OculusRift第一個(gè)消費(fèi)者版本OculusRift“CV1”,OculusTouch控制器、全空間動(dòng)作感應(yīng)、頭部追蹤、高分辨率屏幕和PC連線的功能使Rift大獲成功。2017年10月,Oculus與我國(guó)電子產(chǎn)品制造商小米合作,推出了OculusGo,這是Oculus推出的第一部VR一體機(jī)。2019年2月,Oculus推出了OculusQuest,繼OculusGo之后發(fā)布第二臺(tái)VR一體機(jī)。2019年3月,F(xiàn)acebook與中國(guó)電子制造商聯(lián)想合作推出了OculusRiftS,這是最初RiftPC頭戴設(shè)備的升級(jí)版。2020年,經(jīng)過前兩款VR一體機(jī)之后,Oculus推出了屏幕分辨率、刷新率、存儲(chǔ)和處理能力更好的Quest2。之后,在眾多企業(yè)紛紛入場(chǎng)VR頭顯賽道的同時(shí),Meta在2022年10月12日凌晨的VR年度大會(huì)Connect上,推出全新VR設(shè)備QuestPro,較Quest2實(shí)現(xiàn)了硬件及性能的多重升級(jí)。Meta元宇宙的用戶數(shù)逐步增長(zhǎng),OculusQuest2銷量已過千萬,但近期由于漲價(jià)銷量不及預(yù)期?,F(xiàn)階段Meta以斷崖式領(lǐng)先占據(jù)全球VR市場(chǎng)份額第一,數(shù)據(jù)顯示2022年Meta全球市占率飆升至八成。具體到產(chǎn)品,Quest2貢獻(xiàn)了80%以上的出貨量。上市六個(gè)月之后,OculusQuest2的銷量超過此前發(fā)布的Oculus系列產(chǎn)品銷量的總和,并且于2021年11月其銷量突破1000萬,這被認(rèn)為是行業(yè)開始復(fù)蘇,迎來拐點(diǎn)的一個(gè)標(biāo)志。截至2022年上半年,IDC估計(jì)Quest2的全球累計(jì)銷量已達(dá)到1480萬臺(tái)。2022年7月底,Meta表示,128GB與256GB版本Quest2都將漲價(jià)100美元,8月1日開始實(shí)施。Quest2的漲價(jià)對(duì)銷量產(chǎn)生了嚴(yán)重影響,Quest2本身已面臨產(chǎn)品老舊的問題,明年Quest3有望面世,在漲價(jià)的沖擊下,全年Meta產(chǎn)品銷量預(yù)計(jì)將為750萬臺(tái),較年初市場(chǎng)預(yù)期腰斬。截至2023年2月,Quest系列產(chǎn)品出貨量已達(dá)2000萬臺(tái)。在2022年市場(chǎng)疲軟之后,IDC下調(diào)了對(duì)2023年AR和VR出貨量的預(yù)測(cè)。根據(jù)IDC發(fā)布的《全球AR和VR頭盔季度追蹤》報(bào)告,2023年全球AR、VR頭盔的出貨量預(yù)計(jì)將達(dá)到1010萬臺(tái)。盡管IDC下調(diào)了預(yù)測(cè)值,但其預(yù)測(cè)總出貨量在2023年仍將有14%的增長(zhǎng),并在2023至2027年間加速增長(zhǎng),未來五年的復(fù)合年增長(zhǎng)率預(yù)計(jì)為32.6%。根據(jù)財(cái)報(bào),負(fù)責(zé)VR/AR元宇宙業(yè)務(wù)的RealityLabs投入持續(xù)升高。該部門在2022年第四季度的營(yíng)收為7.27億美元,同比下降17.1%,虧損額達(dá)42.79億美元。不過,與2022年第三季度同比下降約50%相比,2022年第四季度的降幅要小得多。2022年第三季度的收入是Meta開始公布RealityLabs財(cái)務(wù)數(shù)據(jù)以來最低的,而2022年第四季度的收入是有史以來第二高的。7.27億美元營(yíng)收的成本卻達(dá)到了驚人的50億美元,是Meta開始公布RealityLabs財(cái)務(wù)數(shù)據(jù)以來最高的。首席財(cái)務(wù)官解釋說,這主要是“與員工相關(guān)的成本和重組費(fèi)用”——指的Meta在全公司進(jìn)行的超過1.1萬人的裁員中所涉及的遣散費(fèi)。3.2、新品:VR、AR、智能穿戴設(shè)備多點(diǎn)開花未來五年,Meta計(jì)劃推出三款VR頭顯、四款A(yù)R眼鏡及一款智能手表。按現(xiàn)有的產(chǎn)品路線圖,Meta將在2023年推出代號(hào)為Stinson的消費(fèi)級(jí)VR頭顯Quest3,2024年推出代號(hào)為Ventura的低價(jià)版消費(fèi)級(jí)VR頭顯,2025年推出代號(hào)為L(zhǎng)aJolla的工作VR頭顯。依照舊例,Meta應(yīng)該會(huì)在今年MetaConnect大會(huì)上推出新的消費(fèi)級(jí)VR頭顯Quest3。據(jù)透露,Quest3采用Pancake技術(shù),搭載透視攝像頭,其頭顯前端現(xiàn)實(shí)區(qū)域相較Quest2薄兩倍,功能至少增加一倍,價(jià)格則會(huì)略高于“400美元”。代號(hào)為L(zhǎng)aJolla的頭顯或許將成為Meta工作頭顯系列的“繼任者”,該產(chǎn)品將于2025年推出,據(jù)介紹,該頭顯將擁有更高的分辨率,并且能夠?qū)崿F(xiàn)真正地工作、編寫文本等,其設(shè)計(jì)中將引入從QuestPro中獲取的頭顯設(shè)計(jì)、分離式架構(gòu)等等。代號(hào)Ventura的VR頭顯定位則是以最具吸引力的價(jià)格為VR消費(fèi)市場(chǎng)提供最大的沖擊力,或許該頭顯將會(huì)成為下一個(gè)“Quest2”。目前,Meta正在打造三條AR眼鏡產(chǎn)品線,推進(jìn)四款A(yù)R眼鏡的研發(fā)。此前,Meta曾在2021年9月推出第一款智能眼鏡Ray-BanStories,可以拍攝,并且眼鏡框兩側(cè)的揚(yáng)聲器可通過藍(lán)牙播放聲音。今年秋天,Meta將推出第二代配備攝像頭的智能眼鏡。2024年,Meta將在員工中內(nèi)測(cè)代號(hào)為Orion的AR眼鏡。2025年,Meta將推出第三代智能眼鏡,該設(shè)備將擁有顯示屏,并且將配備一個(gè)肌電手環(huán)。2027年,Meta將正式發(fā)布代號(hào)為Orion的AR眼鏡,并且還將迭代此前的產(chǎn)品。第三代智能眼鏡將成為Meta的重要產(chǎn)品之一。該設(shè)備將會(huì)配有一個(gè)“取景器”的顯示屏,可以查看收到的信息、掃描二維碼以及實(shí)時(shí)翻譯,配套的肌電手環(huán)使用戶可以通過手部動(dòng)作來控制眼鏡。而代號(hào)為Orion的AR眼睛目前Meta已經(jīng)研發(fā)了8年之久,將采用更先進(jìn)的技術(shù),定價(jià)也更高,該設(shè)備希望能夠?qū)⒏咔宓娜D投射到現(xiàn)實(shí)世界中。Meta還在開發(fā)一款擁有神經(jīng)接口的智能手表。該手表將搭配第三代智能眼鏡使用,可以讓用戶通過虛擬鍵盤打字的速度和使用手機(jī)鍵盤的速度不相上下。目前市場(chǎng)中Meta遙遙領(lǐng)先,蘋果即將發(fā)布的MR有望實(shí)現(xiàn)沖擊。目前蘋果MR的配置較高,索尼原廠的單眼4KMicro-OLED顯示器、120FOV(視場(chǎng)角)的3PPancake光學(xué)模組,八個(gè)面部和眼部攝像頭,正面追蹤攝像頭+dtof的激光雷達(dá),以及外置供電設(shè)備。通過外置供電可以減輕設(shè)備重量,Pancake方案則減小了設(shè)備體積,更加輕巧,目前的缺點(diǎn)是成本比較高,產(chǎn)品定價(jià)在3000美金左右。由于產(chǎn)品體驗(yàn)問題,蘋果MR可能無緣WWDC23。具體原因有:全球經(jīng)濟(jì)低迷,消費(fèi)電子行業(yè)下行;蘋果不想為了量產(chǎn)而在硬件規(guī)格上有所妥協(xié);目前頭顯的應(yīng)用程序準(zhǔn)備不足;3000美元的售價(jià)過高影響銷量。除此之外,由于量產(chǎn)時(shí)間延后,蘋果MR頭顯出貨量?jī)H為20-30萬部,可能少于此前的預(yù)計(jì)出貨量100萬部。4.生成式AI:發(fā)布SAM、LLaMA等大模型,前景可期4.1、SAM模型:CV界的GPT模型4.1.1、SAM模型能做什么?2023年4月5日,Meta宣布推出SegmentAnythingModel(SAM),能夠根據(jù)文本指令等方式實(shí)現(xiàn)圖像分割,并且萬物皆可識(shí)別和一鍵摳圖。同時(shí),Meta也發(fā)布了通用的圖像大模型SegmentAnythingModel(SAM)與對(duì)應(yīng)的數(shù)據(jù)集SegmentAnything1-Billionmaskdataset(SA-1B)。SAM是一個(gè)可以接受文本提示、基于海量數(shù)據(jù)訓(xùn)練而獲得泛化能力、可以對(duì)任意圖片進(jìn)行分割的模型,而SA-1B則是目前最大的分割數(shù)據(jù)集。這一通用的分割模型的核心思想是在用戶輸入的指令下分割一切。Meta通過三個(gè)相互關(guān)聯(lián)的關(guān)鍵部分來構(gòu)建分割的基礎(chǔ)模型。這三個(gè)關(guān)鍵部分分別是,可提示的分割任務(wù),支持?jǐn)?shù)據(jù)注釋并通過提示工程將零樣本傳輸?shù)揭幌盗腥蝿?wù)的分割模型(SAM),以及一個(gè)用于收集SA-1B的數(shù)據(jù)引擎。這一基礎(chǔ)模型的第一個(gè)關(guān)鍵部分,可提示的分割任務(wù)(Promptablesegmentationtask),指在給定任何提示(Prompt)的情況下返回有效的分割掩碼。MetaAI團(tuán)隊(duì)的靈感來自于NLP,希望可以將NLP領(lǐng)域的Prompt范式延展到計(jì)算機(jī)視覺(CV)領(lǐng)域。其中,圖像分割的提示可以是一組前景/背景點(diǎn)、粗略框或掩碼自由格式的文本,或者指示分割圖像的任何信息;掩碼的有效則指,即使提示不明確、并且可能涉及多個(gè)對(duì)象,輸出也應(yīng)該是其中至少一個(gè)對(duì)象的合理掩碼。提示形式的多樣化是SAM的一大亮點(diǎn)。除了簡(jiǎn)單的識(shí)別圖片中的物品之外,SAM還支持用戶使用各種交互性的方式來分割出想要的物體。用戶可以通過將鼠標(biāo)懸浮在該物體之上,就能自動(dòng)定位出物體的輪廓。用戶也可以直接輸入文字查詢,AI就可以幫助找到并標(biāo)記出這個(gè)圖片中用戶想找的這個(gè)文字對(duì)象。對(duì)于視頻中的物體,SAM也能準(zhǔn)確識(shí)別并且還能快速標(biāo)記出物品的種類、名字、大小,并自動(dòng)用ID給這些物品進(jìn)行記錄和分類。這一基礎(chǔ)模型的第二個(gè)關(guān)鍵部分,SAM模型(SegmentAnythingModel),包括三個(gè)組件:圖像編碼器、靈活的提示編碼器和快速的掩碼解碼器。因?yàn)榭商崾镜姆指钊蝿?wù)和現(xiàn)實(shí)世界使用的目標(biāo)對(duì)模型架構(gòu)施加了約束,該模型必須支持靈活的提示,需要分?jǐn)倢?shí)時(shí)計(jì)算掩碼以允許交互式使用,并且必須具有歧義識(shí)別能力。Meta通過簡(jiǎn)單的設(shè)計(jì)滿足所有三個(gè)約束:一個(gè)強(qiáng)大的圖像編碼器計(jì)算一個(gè)圖像嵌入,一個(gè)提示編碼器嵌入提示,這兩個(gè)信息源被組合在一個(gè)輕量級(jí)掩碼解碼器中,預(yù)測(cè)分割掩碼。相同的圖像嵌入可以在不同的提示下重復(fù)使用(及其成本分?jǐn)偅?。給定一個(gè)圖像嵌入、提示編碼器和掩碼解碼器在約50毫秒的網(wǎng)絡(luò)瀏覽器中根據(jù)提示預(yù)測(cè)掩碼。Meta專注于點(diǎn)、框和掩碼提示,并且還使用自由格式的文本提示呈現(xiàn)初始結(jié)果。為了使SAM具有歧義意識(shí),Meta將其設(shè)計(jì)為預(yù)測(cè)單個(gè)提示的多個(gè)掩碼,即,使用一個(gè)輸出,如果給定一個(gè)具有歧義的提示,模型將平均多個(gè)有效掩碼。實(shí)驗(yàn)發(fā)現(xiàn)3個(gè)掩碼輸出足以解決大多數(shù)常見情況(嵌套掩碼通常最多三個(gè)深度:整體、部分和子部分)。在訓(xùn)練期間,僅反向傳播掩碼的最小損失。為了對(duì)掩模進(jìn)行排名,該模型預(yù)測(cè)每個(gè)掩模的置信度分?jǐn)?shù)。這一基礎(chǔ)模型的第三個(gè)關(guān)鍵部分,則是用于生成包含了一組1100萬張得到許可的新圖片和11億掩碼的SA-1B數(shù)據(jù)集的數(shù)據(jù)引擎(SegmentAnythingDataEngine)。由于互聯(lián)網(wǎng)上的分割掩碼并不豐富,MetaAI團(tuán)隊(duì)構(gòu)建了一個(gè)數(shù)據(jù)引擎來收集數(shù)據(jù)集SA-1B。數(shù)據(jù)引擎分為三個(gè)階段:(1)模型輔助手動(dòng)注釋階段;(2)混合自動(dòng)預(yù)測(cè)掩碼和模型輔助注釋的半自動(dòng)階段;(3)全自動(dòng)階段,在該階段中,我們的模型在沒有注釋器輸入的情況下自動(dòng)生成掩碼。這三個(gè)關(guān)鍵部分組成的這一基礎(chǔ)模型,能夠?qū)哂胁煌瑪?shù)量掩碼的圖片實(shí)現(xiàn)較為準(zhǔn)確的自動(dòng)分割。4.1.2、SAM模型有何創(chuàng)新性?在SAM之前,有兩類方法可以解決不同類型的分割問題,但都沒有提供通用的全自動(dòng)細(xì)分方法。第一種是交互式分割,允許分割任何類別的對(duì)象,但需要一個(gè)人通過迭代完善掩碼來指導(dǎo)方法。第二種是自動(dòng)分割,允許對(duì)提前定義的特定對(duì)象類別(例如貓或椅子)進(jìn)行分割,但需要大量手動(dòng)注釋的對(duì)象來訓(xùn)練,以及計(jì)算資源和技術(shù)專長(zhǎng)來訓(xùn)練分割模型。SAM是這兩類方法的概括與升級(jí)。它是一個(gè)單一模型,可以輕松執(zhí)行交互式分割和自動(dòng)分割。模型的提示界面允許以靈活的方式使用它,只需為模型設(shè)計(jì)正確的提示,即可完成廣泛的分割任務(wù)。此外,SAM在超過1億個(gè)掩碼的多樣化,高質(zhì)量數(shù)據(jù)集上進(jìn)行訓(xùn)練,這使其能夠泛化到新型對(duì)象和圖像,而不是在訓(xùn)練期間觀察到的。這種泛化能力意味著,總的來說,從業(yè)者將不再需要收集自己的細(xì)分?jǐn)?shù)據(jù)并為其用例微調(diào)模型。概括而言,與其他的計(jì)算機(jī)視覺模型相比,SAM在以下幾個(gè)方面體現(xiàn)出其創(chuàng)新性。(1)擁有目前最大的分割數(shù)據(jù)集:SAM的訓(xùn)練數(shù)據(jù)集包括1100萬張圖像和11億個(gè)掩碼的海量數(shù)據(jù)集。(2)具有較強(qiáng)的零樣本性能:SAM在分割任務(wù)中能對(duì)從未訓(xùn)練過的圖片進(jìn)行精準(zhǔn)分割,初步驗(yàn)證了多模態(tài)技術(shù)路徑及其泛化能力。(3)提示形式多樣性:開創(chuàng)性地結(jié)合Prompt模式,標(biāo)志著自然語(yǔ)言處理的Prompt模式開始被應(yīng)用在了計(jì)算機(jī)視覺領(lǐng)域。4.1.3、SAM模型目前的局限性在哪里?進(jìn)行一個(gè)更高層次的任務(wù),即根據(jù)自由形式的文本分割對(duì)象后,確實(shí)證明了SAM具備一定的處理文本提示的能力。SAM可以根據(jù)簡(jiǎn)單的文本提示(如“車輪”)以及短語(yǔ)對(duì)對(duì)象進(jìn)行分割。當(dāng)SAM無法僅從文本提示中選擇正確的對(duì)象時(shí),需要借助額外的點(diǎn)提示,通常就能修復(fù)預(yù)測(cè)。SAM模型依舊存在進(jìn)步空間。此外,SAM模型與當(dāng)前尖端的偽裝物體分割模型依舊有很大的差距。背景匹配偽裝,是一個(gè)或者多個(gè)生物為了防止被發(fā)現(xiàn),嘗試將其顏色與周圍環(huán)境“無縫地”匹配的行為。SAM偽裝目標(biāo)分割任務(wù)是檢測(cè)出那些與自然棲息地中有著相似模式的物體。通過實(shí)驗(yàn)得到,在自然場(chǎng)景中,SAM模型辨別、分割隱蔽動(dòng)物具有一定難度。不僅如此,在工業(yè)場(chǎng)景中SAM亦無法做到“分割一切”。由于工業(yè)場(chǎng)景中通常是短焦距下拍攝的近景圖像,所以SAM模型更傾向于去分割整個(gè)物體或者是物體的主體部分。同時(shí),SAM模型難以區(qū)分缺陷區(qū)域和紋理背景之間的差異性,針對(duì)于工業(yè)場(chǎng)景中缺陷區(qū)域檢出能力較差。4.2、LLaMA:AI大型語(yǔ)言模型4.2.1、LLaMA:開源語(yǔ)言大模型2023年2月24日,Meta的FAIR團(tuán)隊(duì)宣布推出LLaMA模型,旨在幫助研究人員和工程師探索人工智能應(yīng)用和相關(guān)功能,能夠應(yīng)用于生成文本、對(duì)話、總結(jié)書面材料、證明數(shù)學(xué)定理或預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面。LLaMA訓(xùn)練數(shù)據(jù)集是不同來源的組合,涵蓋眾多的領(lǐng)域。從參數(shù)規(guī)模來看,大語(yǔ)言模型LLaMA包括四種尺寸:7B、13B、33B和65B,F(xiàn)AIR團(tuán)隊(duì)用1.4萬億個(gè)tokens訓(xùn)練了LLaMA33B和LLaMA65B,參數(shù)規(guī)模最小的模型LLaMA7B也用了1萬億個(gè)tokens進(jìn)行了訓(xùn)練。與其他大型語(yǔ)言模型一樣,LLaMA的工作原理是將一系列單詞作為輸入并預(yù)測(cè)下一個(gè)單詞以遞歸生成文本。為了訓(xùn)練模型,F(xiàn)AIR團(tuán)隊(duì)從使用最多的20種語(yǔ)言中選擇了文本,重點(diǎn)是那些使用拉丁字母和西里爾字母的語(yǔ)言。與GPT、Gopher、Chinchilla及PaLM等同類成果比較,其他幾種模型都用到了廣泛的公共數(shù)據(jù),但也引入了某些非公開可用或未記錄在案的文本數(shù)據(jù)。而LLaMA則僅使用公開可用的數(shù)據(jù)集進(jìn)行訓(xùn)練,所以雖然自身尚未開源,但該模型與開源原則完全兼容。性能較好:在大多數(shù)基準(zhǔn)測(cè)試中,參數(shù)僅為十分之一的LLaMA-13B的性能優(yōu)于OpenAI推出的GPT3(175B),也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可與業(yè)內(nèi)領(lǐng)先的Chinchilla-70B和PaLM-540B競(jìng)爭(zhēng)。LLaMA使用Transformer作為decoder,在結(jié)構(gòu)上它與GPT非常類似。LLaMA的SA與原始Attention存在一定區(qū)別,同時(shí)其FFN進(jìn)行了改進(jìn)。該模型使用的Transformer也在以下兩方面作了優(yōu)化:第一,預(yù)規(guī)范化。為了提高訓(xùn)練的穩(wěn)定性,將每個(gè)Transformer子層的輸入歸一化,而不是輸出歸一化。使用由Zhang和Sennrich(2019)引入的RMSNorm歸一化函數(shù)。第二,引入RMSNorm(RootMeanSquareLayerNormalization),這是一般LayerNorm的一種變體,可以在梯度下降時(shí)令損失更加平滑。與layerNorm相比,RMSNorm的主要區(qū)別在于去掉了減去均值的部分,只保留方差部分。4.2.2、LLaMA具有參數(shù)規(guī)模小、訓(xùn)練數(shù)據(jù)多、完全開源的特點(diǎn)LLaMA參數(shù)規(guī)模小,對(duì)算力要求低。在大模型上,人們似乎都會(huì)假設(shè)更多的參數(shù)會(huì)帶來更好的性能。但是Hoffmannetal.(2022)的工作表明,在給定的計(jì)算預(yù)算下,最好的性能不是由最大的模型實(shí)現(xiàn)的,而是由在更多的數(shù)據(jù)上訓(xùn)練的小模型實(shí)現(xiàn)的。和谷歌、微軟不同,在大型語(yǔ)言模型上,Meta選擇了算力和資源要求更少的小模型。LLaMA模型在大量未標(biāo)記的數(shù)據(jù)上進(jìn)行訓(xùn)練,因而非常適合對(duì)各種任務(wù)進(jìn)行微調(diào)。Meta推出的LLaMA參數(shù)規(guī)模有70億(7B)、130億(13B)、330億(33B)和650億(65B)四種。相比ChatGPT的底層模型OpenAIGPT-3有1750億(175B)個(gè)參數(shù),LLaMA模型的參數(shù)量很小。Meta首席AI科學(xué)家楊立昆(YannLeCun)表示,在一些基準(zhǔn)測(cè)試中,LLaMA130億參數(shù)規(guī)模的模型性能優(yōu)于OpenAI推出的GPT3,且能跑在單個(gè)GPU上;650億參數(shù)的LLaMA模型能夠和DeepMind700億參數(shù)的Chinchilla模型、谷歌5400億參數(shù)的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論