




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
算力是人工智能的基礎(chǔ)設(shè)施,算法是人工智能的靈魂人工智能研究框架培訓(xùn)算力是AI產(chǎn)業(yè)發(fā)展的根基01算力是承載人工智能應(yīng)用發(fā)展的基礎(chǔ),是人工智能最核心的要素數(shù)據(jù)的快速增長對算力發(fā)展提出更高要求。隨著信息化、數(shù)字化的持續(xù)推進(jìn),全球新產(chǎn)生的數(shù)據(jù)量正在快速增長,根據(jù)IDC數(shù)據(jù)顯示,
2021年全球新增數(shù)據(jù)總量達(dá)到84.5
ZB,預(yù)計(jì)到2026年全球新增數(shù)據(jù)總量將達(dá)到221.2
ZB,2021年至2026年間的年復(fù)合增速達(dá)到21.22%新應(yīng)用場景的出現(xiàn)對數(shù)據(jù)實(shí)時性要求更高,從而使得邊緣計(jì)算能力變得愈發(fā)重要,人工智能應(yīng)用也越來越依賴邊緣算力支撐。數(shù)據(jù)
28算法算力、算法和數(shù)據(jù)是人工智能產(chǎn)業(yè)發(fā)展的三個核心要素,在三大要素中,算力才是最核心的要素數(shù)據(jù)的生產(chǎn)不再是問題,如何處理、分析和使用數(shù)據(jù)才是問題。算法經(jīng)歷了數(shù)十年的發(fā)展,在深度學(xué)習(xí)和加速計(jì)算出現(xiàn)之后,得到了迅速的發(fā)展和優(yōu)化算力是承載和推動人工智能走向?qū)嶋H應(yīng)用的決定性力量算力圖20:算力是AI產(chǎn)業(yè)發(fā)展的根基算法模型的復(fù)雜化和巨量化需要更強(qiáng)算 力的支撐。近些年,算法模型的參數(shù)量 和復(fù)雜程度都在呈現(xiàn)指數(shù)級增長態(tài)勢, 尤其是自然語言處理等新興認(rèn)知智能領(lǐng) 域?qū)λ懔Φ囊筮h(yuǎn)超圖像識別和語音識 別等傳統(tǒng)AI領(lǐng)域數(shù)據(jù)來源:證券研究人工智能研究框架培訓(xùn)算力提升有極強(qiáng)的經(jīng)濟(jì)效益01數(shù)據(jù)來源:《2021-2022全球計(jì)算力指數(shù)評估報告》,證券研究
29算力的經(jīng)濟(jì)效益使其成為各國政策支持的重點(diǎn)根據(jù)清華大學(xué)全球產(chǎn)業(yè)院與浪潮信息聯(lián)合發(fā)布的《2021-2022全球計(jì)算力指數(shù)評估報告》,通過對全球15個重點(diǎn)國家的計(jì)算力指數(shù)與數(shù)字經(jīng)濟(jì)及GDP的回歸分析,得到15個重點(diǎn)國家的計(jì)算力指數(shù)平均每提高1點(diǎn),國家的數(shù)字經(jīng)濟(jì)和GDP將分別增長3.5‰和1.8‰進(jìn)一步研究發(fā)現(xiàn),當(dāng)一個國家計(jì)算力指數(shù)分別達(dá)到40分及60分以上時,計(jì)算力指數(shù)每提升1點(diǎn),其對GDP增長的推動力將分別增加到1.5倍及3倍。智能算力提升具備重大經(jīng)濟(jì)效益,對算力基礎(chǔ)設(shè)施發(fā)展的支持性政策成為各國政策的重點(diǎn)。圖21:算力提升具有極強(qiáng)的經(jīng)濟(jì)效益人工智能研究框架培訓(xùn)AI
數(shù)據(jù)中心需求激增,AI
服務(wù)器快速放量01網(wǎng)絡(luò)寬帶計(jì)算能力用于大規(guī)模并行計(jì)算,處理復(fù)雜機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的高性能計(jì)算設(shè)備(如GPU和特定的AI芯片)用于快速數(shù)據(jù)傳輸和通信的高網(wǎng)絡(luò)帶寬、低延遲網(wǎng)絡(luò),以滿足對數(shù)據(jù)傳輸速度的敏感需求儲存需求用于存儲大規(guī)模數(shù)據(jù)集的大容量、高速存儲軟件支持針對機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)的軟件支持,包括專門的AI框架、庫和工具,以及優(yōu)化的軟件棧和分布式計(jì)算平臺,以提高計(jì)算效率和性能
30數(shù)據(jù)來源:證券研究AI
數(shù)據(jù)中心是專門用于支持人工智能計(jì)算和數(shù)據(jù)處理任務(wù)的設(shè)施或物理空間AI
數(shù)據(jù)中心通常擁有大量高性能的服務(wù)器、GPU
加速器和專門的存儲系統(tǒng),以提供強(qiáng)大的計(jì)算能力并加速深度學(xué)習(xí)AI
數(shù)據(jù)中心配備了高速的網(wǎng)絡(luò)設(shè)備和優(yōu)化的軟件框架,以支持高效的數(shù)據(jù)傳輸和算法訓(xùn)練通過這些專門的配置和優(yōu)化,AI
數(shù)據(jù)中心能夠?yàn)楦鞣N規(guī)模和復(fù)雜度的AI
工作負(fù)載提供可靠穩(wěn)定的計(jì)算環(huán)境,并滿足大規(guī)模數(shù)據(jù)存儲、備份和分析的需求AI
數(shù)據(jù)中心在推動人工智能技術(shù)的發(fā)展和應(yīng)用方面起到關(guān)鍵作用,為各行各業(yè)的AI
應(yīng)用和服務(wù)提供了強(qiáng)大的支持圖22:AI數(shù)據(jù)中心比普通數(shù)據(jù)中心需要更好的計(jì)算能力、存儲需求、網(wǎng)絡(luò)帶寬和軟件支持人工智能研究框架培訓(xùn)AI
數(shù)據(jù)中心需求激增,AI
服務(wù)器快速放量01大模型的出現(xiàn)和技術(shù)創(chuàng)新對AI數(shù)據(jù)中心的發(fā)展起到推動作用大模型的出現(xiàn)帶來了算力的增量需求根據(jù)OpenAI
發(fā)布的有關(guān)GPT-3模型的文檔,它包含1750
億個參數(shù),需要進(jìn)行數(shù)千萬次的計(jì)算操作來完成一次推理任務(wù)ChatGPT
的總算力消耗約為3640PF-days,需要7~8
個投資規(guī)模30
億、單體算力500P
的數(shù)據(jù)中心才能支撐運(yùn)行,這樣的規(guī)模和復(fù)雜性需要高
性能的計(jì)算設(shè)備和大規(guī)模的并行計(jì)算能力,帶動了AI
數(shù)據(jù)中心需求的增長新的處理器架構(gòu)、高速網(wǎng)絡(luò)、存儲技術(shù)以及更高效的冷卻和能源管理系統(tǒng)的出現(xiàn),提升了數(shù)據(jù)中心的性能和效率,為AI
數(shù)據(jù)中心的發(fā)展提供了技術(shù)支持圖23:大模型時代使算力需求翻倍提升
31數(shù)據(jù)來源:IJCNN人工智能研究框架培訓(xùn)AI
服務(wù)器中,GPU
價值量最大01可以將數(shù)據(jù)存儲在本地,利用本地的計(jì)算資源進(jìn)行
AI模型的訓(xùn)練和推理保證數(shù)據(jù)的安全性和隱私性可能受限于本地的存儲和計(jì)算能力混合架構(gòu)基于云平臺的架構(gòu)使用遠(yuǎn)程存儲技術(shù)和混合云存儲(一種聯(lián)合本地存儲和云存儲的技術(shù))進(jìn)行數(shù)據(jù)存儲,利用云端的計(jì)算資源進(jìn)行AI模型的訓(xùn)練和推理提供彈性的存儲和計(jì)算能力可能存在數(shù)據(jù)的安全性和隱私性問題描述優(yōu)點(diǎn)缺點(diǎn)AI
服務(wù)器是AI
數(shù)據(jù)中心重要的組成部分AI
服務(wù)器是專門為人工智能應(yīng)用而設(shè)計(jì)和配置的服務(wù)器,具備強(qiáng)大的計(jì)算能力和高效的數(shù)據(jù)處理能力,是執(zhí)行AI
任務(wù)和處理大規(guī)模數(shù)據(jù)的關(guān)鍵組件,為數(shù)據(jù)中心提供計(jì)算資源和算力,用于執(zhí)行復(fù)雜的AI
算法和模型。AI
服務(wù)器有兩種主要架構(gòu):混合架構(gòu)和基于云平臺的架構(gòu)。圖24:AI服務(wù)器主要使用混合架構(gòu)和云平臺架構(gòu)
32數(shù)據(jù)來源:證券研究人工智能研究框架培訓(xùn)AI
服務(wù)器中,GPU
價值量最大01主板是AI服務(wù)器的核心電路板,連接各個部件并提供電源和數(shù)據(jù)傳輸?shù)慕涌冢休d著CPU、內(nèi)存插槽、擴(kuò)展插槽和其他重要組件
33電源提供服務(wù)器所需的電能,確保各個組件正常運(yùn)行機(jī)箱是AI服務(wù)器的外部框架,提供支撐和保護(hù)內(nèi)部組件的結(jié)構(gòu)背板提供連接各個部件的接口,而布線則用于傳輸電力和數(shù)據(jù)信號散熱系統(tǒng)用于控制服務(wù)器的溫度并保持其在安全范圍內(nèi)運(yùn)行。散熱片吸收和分散熱量,而風(fēng)扇則提供氣流來冷卻服務(wù)器內(nèi)部。內(nèi)存(RAM)用于臨時存儲數(shù)據(jù)和程序代碼,提供快速的數(shù)據(jù)訪問和處理能力。AI服務(wù)器通常配備大容量的內(nèi)存,以支持大規(guī)模的數(shù)據(jù)集和模型CPU負(fù)責(zé)執(zhí)行計(jì)算任務(wù)和處理數(shù)據(jù),是服務(wù)器的主要計(jì)算引擎,可以進(jìn)行復(fù)雜的算法和模型運(yùn)算加速卡(如GPU、TPU)提供高性能的并行計(jì)算能力,用于加速機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù),可以加快模型訓(xùn)練和推理的速度AI
服務(wù)器中的主要元器件包括CPU、GPU
板組、內(nèi)存、存儲、網(wǎng)絡(luò)接口卡、機(jī)箱、主板、散熱系統(tǒng)和電源圖25:AI服務(wù)器拆箱圖如下所示數(shù)據(jù)來源:英偉達(dá)官網(wǎng),證券研究人工智能研究框架培訓(xùn)AI
服務(wù)器中,GPU
價值量最大01GPU
是AI
服務(wù)器中價值量最高的部件,承擔(dān)了大部分的計(jì)算任務(wù)和深度學(xué)習(xí)模型的訓(xùn)練與推理圖26:整個AI硬件產(chǎn)業(yè)鏈中的各個環(huán)節(jié)緊密合作,共同構(gòu)建了支持AI應(yīng)用和服務(wù)的完整生態(tài)系統(tǒng)AI服務(wù)器GPU電源網(wǎng)絡(luò)設(shè)備存儲CPU冷卻系統(tǒng)在整個AI服務(wù)器的投入比例中,
GPU通常占據(jù)較大的比例,大約在整體投入的30%至60%之間。
GPU提供了強(qiáng)大的并行計(jì)算能力和高效的深度學(xué)習(xí)加速,是實(shí)現(xiàn)高性能AI計(jì)算的關(guān)鍵。CPU作為服務(wù)器的核心計(jì)算單元發(fā)揮著重要作用,而存儲、網(wǎng)絡(luò)設(shè)備、冷卻系統(tǒng)和電源等則在支持和維護(hù)服務(wù)器功能上起到關(guān)鍵作用。數(shù)據(jù)來源:證券研究
34其他部件在整體投入中比例相對較小,但它們同樣是確保服務(wù)器正常運(yùn)行和數(shù)據(jù)中心高效運(yùn)作的必要組成部分人工智能研究框架培訓(xùn)AIGC拉動AI算力需求,AI芯片將成為未來科技石油01基于APU架構(gòu)的MI300預(yù)計(jì)于年底開始應(yīng)用于超級計(jì)算機(jī)隨著AI進(jìn)入“大模型”時代,訓(xùn)練數(shù)據(jù)不斷增長、算法復(fù)雜度不斷提高,國內(nèi)人工智能廠商對算力的需求陡升。AI芯片作為大模型及AI應(yīng)用落地的算力基礎(chǔ),重要性日益凸顯。廣義的AI芯片指專門用于處理人工智能應(yīng)用中大量計(jì)算任務(wù)的模塊,即面向人工智能領(lǐng)域的芯片均被稱為AI芯片。狹義的AI芯片即針對人工智能算法做了特殊加速設(shè)計(jì)的芯片。狹義的AI芯片與傳統(tǒng)芯片(如CPU)相比,性能優(yōu)勢主要體現(xiàn)在專用性的側(cè)重上。圖27:AI芯片產(chǎn)業(yè)鏈較為復(fù)雜IP授權(quán)設(shè)計(jì)晶圓代工AI芯片云端/邊緣端終端訓(xùn)練推理智能汽車智能手機(jī)AIoT機(jī)器人數(shù)據(jù)來源:證券研究
35人工智能研究框架培訓(xùn)AIGC拉動AI算力需求,AI芯片將成為未來科技石油01數(shù)據(jù)來源:證券研究
36AI
芯片主要分為三種類型:通用型(GPU)、半定制型(FPGA)、定制型(ASIC)三類芯片代表分別有英偉達(dá)(NVIDIA)的GPU、賽靈思的FPGA和Google的TPU。GPU的計(jì)算能力最強(qiáng),但是成本高、功耗高;FPGA可編程,最靈活,但是計(jì)算能力不強(qiáng);ASIC體積小、功耗低,適合量產(chǎn),但是研發(fā)時間長,且不可編輯,前期投入成本高,帶來一定的技術(shù)風(fēng)險。表1:AI芯片分為GPU、FPGA、ASIC三種類型GPUFPGAASIC定制化程度通用型半定制化定制化靈活性好好不好成本高較高低編程語言/架構(gòu)CUDA,OpenCL等Verilog/VHDL等硬件描述語言,OpenCL、HLS/功耗大較大小主要優(yōu)點(diǎn)峰值計(jì)算能力強(qiáng),產(chǎn)品成熟平均性能較高,功耗較低,靈活性強(qiáng)平均性能很強(qiáng),功耗很低,體積小主要缺點(diǎn)效率不高,不可編輯,功耗高量產(chǎn)單價高,峰值計(jì)算能力較低,編程語言難度大前期投入成本高,不可編輯,研發(fā)時間長,技術(shù)風(fēng)險大主要應(yīng)用場景云端訓(xùn)練,云端推理云端推理,終端推理云端訓(xùn)練,云端推理,終端推理人工智能研究框架培訓(xùn)
37AIGC拉動AI算力需求,AI芯片將成為未來科技石油01數(shù)據(jù)來源:證券研究針對不同技術(shù)路徑,國內(nèi)廠商均已有所布局GPU:國內(nèi)GPU廠商已有部分產(chǎn)品落地,國產(chǎn)GPU迎來黃金發(fā)展期圖28:國內(nèi)GPU企業(yè)迎來較快發(fā)展景嘉微自主研發(fā)了一系列GPU芯片,包括JM54系列、JM72系列、JM92系列三代GPU產(chǎn)品場的局面,并不斷研發(fā)更為先進(jìn)的JM7200和JM9系列公司于
2014
年成功研發(fā)出國內(nèi)首顆國
2022
年5月,公司M9系列第二款產(chǎn)高性能、低功耗
GPU
芯片JM5400,
圖形處理芯片成功研發(fā),可以滿足地打破了國外產(chǎn)品長期壟斷我國GPU
市
理信息系統(tǒng)、媒體處理、CAD
輔助設(shè)計(jì)、游戲、虛擬化等高性能顯示需求和人工智能計(jì)算需求,可廣泛應(yīng)用于各種設(shè)備海光DCU系列產(chǎn)品以基于通用的
GPGPU架構(gòu),采用7nm工藝,兼容“類
CUDA”環(huán)境以及國際主流商業(yè)計(jì)算軟件和人工智能軟件,軟硬件生態(tài)豐富海光DCU系列產(chǎn)品深算一號已經(jīng)實(shí)現(xiàn)商業(yè)化應(yīng)用,于2021年實(shí)現(xiàn)規(guī)?;鲐洠磥韺V泛應(yīng)用于大數(shù)據(jù)處理、人工智能、商業(yè)計(jì)算等領(lǐng)域其產(chǎn)品性能達(dá)到了國際上同類型主流高端處理器的水平,具有較強(qiáng)的并行計(jì)算能力和較高的能效比,在國內(nèi)處于領(lǐng)先地位數(shù)據(jù)來源:證券研究人工智能研究框架培訓(xùn)
38AIGC拉動AI算力需求,AI芯片將成為未來科技石油01針對不同技術(shù)路徑,國內(nèi)廠商均已有所布局?jǐn)?shù)據(jù)來源:證券研究表2:ASIC:國內(nèi)ASIC廠商實(shí)力雄厚,積極追趕國外芯片巨頭圖29:CPU+FPGA:國內(nèi)巨頭紛紛布局CPU+FPGA的混合異構(gòu)加速AI計(jì)算此前被全球最大
FPGA廠商賽靈思收購的深鑒科技也基于FPGA來設(shè)計(jì)深度學(xué)習(xí)的加速器架構(gòu)數(shù)據(jù)來源:證券研究全球科技巨頭紛紛布局云端FPGA生態(tài),國內(nèi)包括騰訊云、阿里云均在2017年推出了基于FPGA的服務(wù),百度大腦也使用了FPGA芯片人工智能研究框架培訓(xùn)
39AIGC拉動AI算力需求,AI芯片將成為未來科技石油01數(shù)據(jù)來源:頭豹研究院,證券研究FPGA方案及ASIC方案成本曲線存在差異ASIC無法重新編程前期投入成本較高ASIC具備性能更強(qiáng)、體積更小、功耗更低、成本更低、可靠性更髙等優(yōu)點(diǎn),將更具備一定競爭優(yōu)勢實(shí)現(xiàn)專用算法“硬件優(yōu)化”,ASIC路線在AI領(lǐng)域的長期成長性值得期待圖30:ASIC路線在AI領(lǐng)域的長期成長性值得期待人工智能研究框架培訓(xùn)要解決人類指定的各類任務(wù),先要讓計(jì)算機(jī)模擬人類的學(xué)習(xí)機(jī)制01人類跟計(jì)算機(jī)的能力維度各有優(yōu)勢,讓計(jì)算機(jī)學(xué)習(xí)和模擬人類的解決問題的方法是各類算法的起點(diǎn)人類會非常容易的辨別出垃圾郵件與貓狗,但是讓計(jì)算機(jī)做卻非常困難,因?yàn)檫@與發(fā)明計(jì)算機(jī)的最初任務(wù)有本質(zhì)區(qū)別。比如對1億數(shù)據(jù)進(jìn)行混合四則運(yùn)算或大小排序,這些任務(wù)讓人類執(zhí)行會非常低效,但計(jì)算機(jī)卻可以快速完成。而人工智能要處理的任務(wù)與計(jì)算機(jī)最初的任務(wù)恰好相反。這就促使了讓人們思考人類到底是怎么進(jìn)行學(xué)習(xí)的。人類的學(xué)習(xí)機(jī)制:嬰兒根本不知道貓狗到現(xiàn)在我們可以一眼分辨出貓狗,是一個經(jīng)驗(yàn)學(xué)習(xí)過程:首先需要一定的樣本資料,從小可能在電視中、現(xiàn)實(shí)中或圖書中或家長教育中獲得大量信息,然后大腦將接受的信息進(jìn)行學(xué)習(xí)、歸納、整理、總結(jié),最后形成我們的知識與經(jīng)驗(yàn)。對于計(jì)算機(jī),它的優(yōu)勢是計(jì)算能力非常強(qiáng),可以處理海量數(shù)據(jù)。我們需要給它提供成千上萬的資料數(shù)據(jù)(貓狗照片)讓它進(jìn)行學(xué)習(xí),然后計(jì)算
40數(shù)據(jù)來源:AI有溫度微信公眾號,證券研究圖32:讓計(jì)算機(jī)模仿人類來解決問題具備理論上的可行性機(jī)再面對新樣本時才能以較高的準(zhǔn)確率進(jìn)行分辨。圖31:理解人類的學(xué)習(xí)機(jī)制,有助于讓人工智能來有效復(fù)刻這種能力機(jī)制數(shù)據(jù)來源:AI有溫度微信公眾號人工智能研究框架培訓(xùn)例如預(yù)測一封郵件是否是垃圾郵件、預(yù)測照片中的人是男性還是女性還是偏中性?這種結(jié)果只有兩個值或者多個值的問題,我們可以把每個值都當(dāng)做一類,預(yù)測對象到底屬于哪一類。對于結(jié)果只有兩個值的問題,一般稱為二分類問題,結(jié)果有多個值的問題稱為多分類問題?;贏I習(xí)得的能力,AI
就能處理兩大類任務(wù)01數(shù)據(jù)來源:證券研究分類人工智能要處理的任務(wù)多種多樣。比如人臉識別、垃圾郵件檢測、電源票房預(yù)測、降雨量預(yù)測等等。但是這些任務(wù)背后的根本任務(wù)只有兩類,就是分類與回歸?;貧w例如要通過一個人的飲食預(yù)測一個人的體重,體重的值可以有無限多個,有的人60kg,有的人61kg,而且在60和61之間也有無限多個數(shù)。這種預(yù)測結(jié)果是某一個確定數(shù),而具體是哪個數(shù)有無限多種可能,預(yù)測的這個變量(體重)因?yàn)橛袩o限多種可能,在數(shù)軸上是連續(xù)的,所以稱這種變量為連續(xù)變量。AI
所能處理的這些任務(wù)背后的根本任務(wù)只有兩類,就是分類與回歸人類大腦每日處理的其實(shí)也是分類與回歸問題。比如我們會思考晚上吃燒烤還是火鍋,會選擇出門穿哪件衣服,這些都可看做是分類問題;在稱重上秤前我們會先估計(jì)自己多重,約會時會預(yù)計(jì)對方幾點(diǎn)到達(dá),這些都可看做是回歸問題。圖33:分類和回歸是人工智能所處理任務(wù)的主要類別分類任務(wù):模型輸出是:對象的所屬類別;數(shù)據(jù)類型是:離散數(shù)據(jù)回歸任務(wù):模型輸出的結(jié)果是:一個值;數(shù)據(jù)類型是:連續(xù)型數(shù)據(jù)
41人工智能研究框架培訓(xùn)分類任務(wù):模型輸出是對象的所屬類別,數(shù)據(jù)類型是離散數(shù)據(jù)01數(shù)據(jù)來源:百度數(shù)據(jù)來源:廣汽
42分類任務(wù):有二分類和多分類二分類任務(wù)包括前面提到的垃圾郵件檢測與貓狗圖像識別的例子。多分類任務(wù)場景包括下棋與自動駕駛等場景。在棋盤上可以落子的個數(shù)是有限的,所以每一步阿爾法Go要做的就是根據(jù)當(dāng)前已落子信息,預(yù)測出落子在每個可落子位置的勝率,然后選取勝 率最高的位置進(jìn)行落子即可;自動駕駛車輛上裝有多個攝像頭和傳感器來時刻監(jiān)視車輛四周的環(huán)境信息,可根據(jù)這些環(huán)境的圖像信息讓它選擇在每種情況下方向盤轉(zhuǎn)動多少角度、油門或剎車踩多深來實(shí)現(xiàn)車輛的自動行駛。圖34:棋牌類是多分類任務(wù)的場景案例之一
圖35:自動駕駛也是一種多分類任務(wù)可給方向盤設(shè)置900個選擇方案(普通車的方向盤一般是
900度,也就是兩圈半),給油門剎車分別設(shè)置10個檔位。那么整個自動行駛的過程,其實(shí)就是在每個時刻根據(jù)環(huán)境信息來對這三個關(guān)鍵部件進(jìn)行操作選擇,所以可以將它看作為分類任務(wù)。人工智能研究框架培訓(xùn)回歸任務(wù):模型輸出的結(jié)果是一個值,數(shù)據(jù)類型是連續(xù)型01以網(wǎng)約車出行預(yù)測以及股價預(yù)測來說明回歸任務(wù)?;貧w任務(wù)和分類任務(wù)并非嚴(yán)格區(qū)分。案例一:可根據(jù)上下車地點(diǎn)、時間、天氣情況、人流密度以及歷史記錄等因素,預(yù)測此刻某區(qū)域的網(wǎng)約車訂單數(shù),并以此為依據(jù)進(jìn)行車輛調(diào)度,保證供需平衡。案例二:股價預(yù)測也可看做為一個回歸問題。因?yàn)榭筛鶕?jù)歷史走勢、利弊政策、公司財報等因素對股價進(jìn)行預(yù)測。其實(shí)分類問題在某種程度上可以看做為一個回歸問題:比如可以定義若一支股票漲幅會大于5%,就把它歸為買入類;在-5%至5%之間,就將它歸為持有類;跌幅大于5%的話就將它歸為賣出類。圖36:網(wǎng)約車出行流量預(yù)測是一種回歸任務(wù)數(shù)據(jù)來源:百度地圖圖37:股價預(yù)測也是典型的回歸任務(wù)數(shù)據(jù)來源:微軟根據(jù)相應(yīng)程序可以預(yù)測股價趨勢,可看做回歸問題
43人工智能研究框架培訓(xùn)最終計(jì)算機(jī)解決這些任務(wù)的方案,我們稱之為算法01傳統(tǒng)機(jī)器學(xué)習(xí)通過訓(xùn)練集,不斷識別特征,不斷建模,最后形成有效的模型,這個過程就叫“機(jī)器學(xué)習(xí)”!無論使用什么算法,使用什么樣的數(shù)據(jù),最根本的思路都逃不出上面的3步。深度學(xué)習(xí)模擬人腦神經(jīng)元進(jìn)行學(xué)習(xí)與預(yù)測,通常不具有可解釋性
44從人工智能大的子領(lǐng)域來看,常用的算法類型有專家系統(tǒng)、傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)。專家系統(tǒng)通俗來說就是制定規(guī)則;傳統(tǒng)的機(jī)器學(xué)習(xí)主要運(yùn)用可解釋的數(shù)學(xué)公式進(jìn)行推導(dǎo)預(yù)測;而目前大火的深度學(xué)習(xí)則是模擬人腦神經(jīng)元進(jìn)行學(xué)習(xí)與預(yù)測,通常不具有可解釋性,但卻能很好的解決問題(之后會詳細(xì)解釋)。圖38:AI核心算法主要分為三大類專家系統(tǒng)利用以往知識與經(jīng)驗(yàn)制定規(guī)則數(shù)據(jù)來源:證券研究人工智能研究框架培訓(xùn)專家系統(tǒng)算法:基于以往知識與經(jīng)驗(yàn)來制定規(guī)則01早期AI
根據(jù)設(shè)定的規(guī)則,讓電腦去執(zhí)行預(yù)測。這種早期算法也叫做“專家系統(tǒng)”。專家系統(tǒng)是模擬人類專家解決某一類具體問題的人工智能系統(tǒng),如疾病診療、機(jī)械設(shè)計(jì)等。那么, 如何讓計(jì)算機(jī)模擬人類專家?思路很簡單:想辦法將專家掌握的知識抽取出來,利用這些知識,
計(jì)算機(jī)就可以像專家一樣工作了。例如,AI在互聯(lián)網(wǎng)中的早期應(yīng)用有識別垃圾郵件。郵箱每天會收到眾多郵件,而把垃圾郵件剔除就可以大大節(jié)約人們在垃圾郵件中浪費(fèi)的時間。傳統(tǒng)的方法是制定規(guī)則,比如一篇文章中大量出現(xiàn)“免費(fèi)”“特價”“發(fā)財”“代理”“穩(wěn)贏”等等關(guān)鍵詞,我們就把它定義為垃圾郵件,根據(jù)設(shè)定的規(guī)則,然后讓電腦去執(zhí)行預(yù)測。實(shí)現(xiàn)專家系統(tǒng)要解決兩個問題:一是如何表示知識,二是如何利用知識解決問題首先是知識表示的問題,即如何將專家的知識梳理出來,并表示成計(jì)算機(jī)能讀懂的結(jié)構(gòu)。知識表示有很多種方法,最簡單的是寫成“如果...就...”這樣的判斷句,稱為“產(chǎn)生式規(guī)則”。第二個問題涉及到推理方法,即如何利用既有知識解決問題。以診療系統(tǒng)為例,如果病人的表現(xiàn)是打噴嚏和發(fā)燒,人類的醫(yī)生會基于打噴嚏和發(fā)燒這些表現(xiàn),判斷病人可能是感冒了,而治療感冒的常用藥物是阿司匹林,因此醫(yī)生會告訴病人:吃幾片阿斯匹林。這個過程就是人類的推理過程。計(jì)算機(jī)醫(yī)生會模仿這個過程,首先會將病人發(fā)燒和打噴嚏作為前提在知識庫中查找。圖39:用IF語句來舉例理解專家系統(tǒng)IF發(fā)燒AND打噴嚏Then感冒數(shù)據(jù)來源:證券研究
45IF感冒THEN開阿司匹林知識表示基于該知識推論病人是否感冒。得出結(jié)論后,通過“感冒”,在知識庫中繼續(xù)查找,發(fā)現(xiàn)下面的知識解決問題基于該知識,計(jì)算機(jī)就知道要給病人開阿司匹林人工智能研究框架培訓(xùn)單一的專家系統(tǒng)算法會遇到諸多瓶頸01但在實(shí)踐過程中,有些任務(wù)本身的規(guī)則很難定義。一個典型的例子就是圖像識別。在圖像識別領(lǐng)域中,一個最基礎(chǔ)的問題就是分辨這個圖像是什么。舉例來說,告訴你一張圖像不是貓就是狗,現(xiàn)在給你一張圖片,讓你分辨一張圖片到底是貓還是狗。人類可以輕松地分辨出左側(cè)是貓右側(cè)是狗,但是讓你具體說出你是究竟根據(jù)什么來分辨出貓與狗的,突然發(fā)現(xiàn)這個問題很難回答。例如,貓跟狗都有五官與體毛,并有基本相同的姿勢等等,計(jì)算機(jī)量化描述這些規(guī)則的話,難度和復(fù)雜度極大。數(shù)據(jù)來源:AI有溫度微信公眾號圖41:因?yàn)閳D像的細(xì)節(jié)特征太多,編寫規(guī)則來進(jìn)行判斷的難度極大
46圖40:識別圖像的工作極大提升了傳統(tǒng)算法的難度數(shù)據(jù)來源:AI有溫度微信公眾號人工智能研究框架培訓(xùn)
47傳統(tǒng)的機(jī)器學(xué)習(xí)主要運(yùn)用可解釋的數(shù)學(xué)公式進(jìn)行推導(dǎo)運(yùn)算01案例任務(wù):收集鳶尾花花萼的長度與寬度,來判斷它具體屬于哪一品種(由于可視化與易推導(dǎo)的需求,此處將數(shù)據(jù)維度降到2維或3維來說明傳統(tǒng)機(jī)器學(xué)習(xí)的原理。而現(xiàn)實(shí)中的數(shù)據(jù)通常是具有多種特征的,比如鳶尾花的數(shù)據(jù)集原本有4個特征,其實(shí)我們應(yīng)該在一個4維空間對數(shù)據(jù)進(jìn)行切分)。機(jī)器學(xué)習(xí)背后的數(shù)學(xué)保證了低維空間的算法推導(dǎo)到高維空間也同樣適用。圖42:傳統(tǒng)的機(jī)器學(xué)習(xí)主要運(yùn)用可解釋的數(shù)學(xué)公式進(jìn)行推導(dǎo)預(yù)測數(shù)據(jù)來源:AI有溫度微信公眾號,,證券研究首先將花萼的長度與寬度繪制在一張二維圖中,紅色代表一類,藍(lán)色代表一類根據(jù)兩組數(shù)據(jù)計(jì)算出一條
f(x)=k1x1+k2x2+b(可理解為
y=kx+b)的直線將兩類數(shù)據(jù)分離:如果再來一組數(shù)據(jù)落入直線上方,就歸屬于紅色類;若落入直線下方,則屬于藍(lán)色類人工智能研究框架培訓(xùn)
48傳統(tǒng)的機(jī)器學(xué)習(xí)對圖像識別有天然優(yōu)勢01傳統(tǒng)機(jī)器學(xué)習(xí)同樣可以運(yùn)用到圖像領(lǐng)域可以看到在鳶尾花分類任務(wù)中的特征都有明確的含義,每個數(shù)字代表什么意思。而其實(shí)在機(jī)器學(xué)習(xí)中,特征可以是很抽象的,在圖像識別領(lǐng)域中,通常將每一個像素點(diǎn)看做一個特征。在數(shù)字識別任務(wù)中,將圖像放大,每一個像素由一個方塊表示,方塊顏色的深淺不同就對應(yīng)著不同的值,所以可以用28*28=784個特征來代表這張圖像,然后將數(shù)字按順序排開喂給機(jī)器機(jī)進(jìn)行學(xué)習(xí),并歸納整理每個位置的值與最終結(jié)果的關(guān)系。在算法領(lǐng)域中特征可能是不具有含義的,而是抽象的,甚至這個特征與最終結(jié)果毫無關(guān)系。圖44:傳統(tǒng)機(jī)器學(xué)習(xí)的工作流程如下所示數(shù)據(jù)來源:華為云官網(wǎng)圖43:利用機(jī)器學(xué)習(xí)來處理像素點(diǎn)可以實(shí)現(xiàn)圖像識別數(shù)據(jù)來源:雷鋒網(wǎng)
49人工智能研究框架培訓(xùn)根據(jù)機(jī)器學(xué)習(xí)訓(xùn)練方式,又分監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)01監(jiān)督學(xué)習(xí)需要有明確的目標(biāo),很清楚自己想要什么結(jié)果。比如:按照“既定規(guī)則”來分類、預(yù)測某個具體的值…監(jiān)督并不是指人站在機(jī)器旁邊看機(jī)器做的對不對,而是具有四個步驟的流程。圖45:監(jiān)督學(xué)習(xí)可以處理回歸和分類兩種任務(wù),下面以芝麻信用評分(回歸任務(wù))來說明監(jiān)督學(xué)習(xí)選擇一個合適的數(shù)學(xué)模型01
合適的模型先把部分已知“問題和答案”(訓(xùn)練集)給機(jī)器去學(xué)習(xí)02
提供訓(xùn)練數(shù)據(jù)機(jī)器總結(jié)出了自己的“方法論”01
訓(xùn)練出方法論04
在新數(shù)據(jù)上使用方法論人類把”新的問題”(測試集)給機(jī)器,讓他去解答步驟2
:收集已知數(shù)據(jù)為了找出公式f,需要先收集大量的已知數(shù)據(jù),這些數(shù)據(jù)必須包含一個人的5種數(shù)據(jù)和他的信用狀態(tài)(把信用狀態(tài)轉(zhuǎn)化為分?jǐn)?shù))。把數(shù)據(jù)分成幾個部分,一部分用來訓(xùn)練,一部分用來測試和驗(yàn)證。步驟3
:訓(xùn)練出理想模型有了這些數(shù)據(jù),通過機(jī)器學(xué)習(xí),就能”猜測”出這5種數(shù)據(jù)和信用分?jǐn)?shù)的關(guān)系。這個關(guān)系就是公式f。然后再用驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)來驗(yàn)證一下這個公式是否OK。步驟4
:對新用戶進(jìn)行預(yù)測當(dāng)我們想知道一個新用戶的信用狀況時,只需要收集到他的這5種數(shù)據(jù),套進(jìn)公式f
計(jì)算一遍就知道結(jié)果了!步驟1
:構(gòu)建問題,選擇模型首先找出個人信用的影響因素,從邏輯上講一個人的體重跟他的
信用應(yīng)該沒有關(guān)系,而財富總額貌似跟信用有關(guān),所以根據(jù)判斷,找出了下面5個影響因素:付款記錄、賬戶總金額、信用記錄跨度(自開戶以來的信用記錄、特定類型賬戶開戶以來的信用記錄…)、新賬戶(近期開戶數(shù)目、特定類型賬戶的開戶比例…)、信用類別(各種賬戶的數(shù)目)數(shù)據(jù)來源:easyai官網(wǎng),證券研究人工智能研究框架培訓(xùn)
5001圖:樸素貝葉斯
決策樹
SVM
邏輯回歸
線性回歸
回歸樹K鄰近
Adaboosting 神經(jīng)網(wǎng)絡(luò)貝葉斯分類法是基于貝葉斯定定理的統(tǒng)計(jì)學(xué)分類方法。它通過預(yù)測一個給定的元組屬于一個特定類的概率,來進(jìn)行分類。樸素貝葉斯分類法假定一個屬性值在給定類的影響?yīng)毩⒂谄渌麑傩缘摹悧l件獨(dú)立性。分類任務(wù)回歸任務(wù)回歸+分類練數(shù)據(jù)構(gòu)建決策樹,對未知的數(shù)據(jù)進(jìn)行分類。支持向量機(jī)把分類問題轉(zhuǎn)化為尋找分類平面的問題,并通過最大化分類邊界點(diǎn)距離分類平面的距離來實(shí)現(xiàn)分類。決策樹是一種簡單但廣泛使用的分類器,它通過訓(xùn)邏輯回歸是用于處理因變量為分類變量的回歸問題,常見的是二分類或二項(xiàng)分布問題,也可以處理多分類問題,它實(shí)際上是屬于一種分類方法。線性回歸是處理回歸任務(wù)最常用的算法之一。該算法的形式十分簡單,它期望使用一個超平面擬合數(shù)據(jù)集(只有兩個變量的時候就是一條直線)。回歸樹(決策樹的一種)通過將數(shù)據(jù)集重復(fù)分割為不同的分支而實(shí)現(xiàn)分層學(xué)習(xí),分割的標(biāo)準(zhǔn)是最大化每一次分離的信息增益。這種分支結(jié)構(gòu)讓回歸樹很自然地學(xué)習(xí)到非線性關(guān)系。通過搜索K個最相似的實(shí)例(鄰居)的整個訓(xùn)練集并總結(jié)那些K個實(shí)例的輸出變量,對新數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測。從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一系列的弱分類器或基本分類器,然后將這些弱分類器組合成一個強(qiáng)分類器。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象,建立某種簡單模型,按不同的連接方式組成不同的網(wǎng)絡(luò)。主流的監(jiān)督學(xué)習(xí)算法種類較多圖46:主流的監(jiān)督學(xué)習(xí)算法包括樸素貝葉斯、決策樹、SVM等多種算法,目前也在逐步豐富中Adaboost目的就是數(shù)據(jù)來源:證券研究誠信·責(zé)任·親和·專業(yè)·創(chuàng)新人工智能研究框架培訓(xùn)
51無監(jiān)督學(xué)習(xí)跟監(jiān)督學(xué)習(xí)相比,主要有三個特點(diǎn)01無監(jiān)督學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的訓(xùn)練方式,它本質(zhì)上是一個統(tǒng)計(jì)手段,在沒有標(biāo)簽的數(shù)據(jù)里可以發(fā)現(xiàn)潛在的一些結(jié)構(gòu)的一種訓(xùn)練方式。下面通過跟監(jiān)督學(xué)習(xí)的對比來理解無監(jiān)督學(xué)習(xí):監(jiān)督學(xué)習(xí)是一種目的明確的訓(xùn)練方式,你知道得到的是什么;而無監(jiān)督學(xué)習(xí)則是沒有明確目的的訓(xùn)練方式,你無法提前知道結(jié)果是什么。監(jiān)督學(xué)習(xí)需要給數(shù)據(jù)打標(biāo)簽;而無監(jiān)督學(xué)習(xí)不需要給數(shù)據(jù)打標(biāo)簽。監(jiān)督學(xué)習(xí)由于目標(biāo)明確,所以可以衡量效果;而無監(jiān)督學(xué)習(xí)幾?無法量化效果如何。圖47:舉例說明無監(jiān)督學(xué)習(xí)案例1:發(fā)現(xiàn)異常案例2:用戶細(xì)分背景:有很多違法行為都需要”洗錢”,這些洗錢行為跟普通用戶的行為是不一樣的,到底哪里不一樣?如果通過人為去分析是一件成本很高很復(fù)雜的事情,我們可以通過這些行為的特征對用戶進(jìn)行分類,就更容易找到那些行為異常的用戶,然后再深入分析他們的行為到底哪里不一樣,是否屬于違法洗錢的范疇。通過無監(jiān)督學(xué)習(xí),可以快速把行為進(jìn)行分類,雖然不知道這些分類意味著什么,但是通過這種分類,可以快速排出正常的用戶,更有針對性的對異常行為進(jìn)行深入分析。數(shù)據(jù)來源:easyai官網(wǎng),證券研究用戶細(xì)分對于廣告平臺很有意義,不僅把用戶按照性別、年齡、地理位置等維度進(jìn)行用戶細(xì)分,還可以通過用戶行為對用戶進(jìn)行分類。案例3:推薦系統(tǒng)比如大家在淘寶、天貓、京東上逛的時候,總會根據(jù)你的瀏覽行為推薦一些相關(guān)的商品,有些商品就是無監(jiān)督學(xué)習(xí)通過聚類來推薦出來的。系統(tǒng)會發(fā)現(xiàn)一些購買行為相似的用戶,推薦這類用戶最”喜歡”的商品。
52人工智能研究框架培訓(xùn)強(qiáng)化學(xué)習(xí)不需要大量的“數(shù)據(jù)喂養(yǎng)”,通過自我嘗試學(xué)會技能01跟監(jiān)督、無監(jiān)督學(xué)習(xí)類似,強(qiáng)化學(xué)習(xí)并不是某一種特定的算法,而是一類算法的統(tǒng)稱。強(qiáng)化學(xué)習(xí)算法的思路非常簡單,以游戲?yàn)槔绻谟螒蛑胁扇∧撤N策略可以取得較高的得分,那么就進(jìn)一步「強(qiáng)化」這種策略,以期繼續(xù)取得較好的結(jié)果。這種策略與日常生活中的各種「績效獎勵」非常類似。強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)最大的不同就是不需要大量的“數(shù)據(jù)喂養(yǎng)”。而是通過自己不停的嘗試來學(xué)會某些技能。圖48:強(qiáng)化學(xué)習(xí)的主流算法包括免模型學(xué)習(xí)(Model-Free)和有模型學(xué)習(xí)(Model-Based)數(shù)據(jù)來源:easyai官網(wǎng),證券研究有模型學(xué)習(xí)(Model-Based)對環(huán)境有提前的認(rèn)知,可以提前考慮規(guī)劃,但是缺點(diǎn)是如果模型跟真實(shí)世界不一致,那么在實(shí)際使用場景下會表現(xiàn)的不好。免模型學(xué)習(xí)(Model-Free)放棄了模型學(xué)習(xí),在效率上不如后者,但是這種方式更加容易實(shí)現(xiàn),也容易在真實(shí)場景下調(diào)整到很好的狀態(tài)。所以免模型學(xué)習(xí)方法更受歡迎,得到更加廣泛的開發(fā)和測試。人工智能研究框架培訓(xùn)
53深度學(xué)習(xí)的靈感來自大腦的結(jié)構(gòu)和功能01求數(shù)據(jù)來源:easyai官網(wǎng)、《人工智能》,證券研究深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究,但是并不完全等于傳統(tǒng)神經(jīng)網(wǎng)絡(luò),可以看做神經(jīng)網(wǎng)絡(luò)的升級版本根據(jù)李開復(fù)在《人工智能》內(nèi)容,以識別圖片中的漢字為例來解釋深度學(xué)習(xí):假設(shè)深度學(xué)習(xí)要處理的信息是“水流”,而處理數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)是一個由管道和閥門組成的巨大水管網(wǎng)絡(luò)。網(wǎng)絡(luò)的入口是若干管道開口,網(wǎng)絡(luò)的出口也是若干管道開口。這個水管網(wǎng)絡(luò)有許多層,每一層由許多個可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)的需要,水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對復(fù)雜任務(wù)來說,調(diào)節(jié)閥的總數(shù)可以成千上萬甚至更多。水管網(wǎng)絡(luò)中,每一層的每個調(diào)節(jié)閥都通過水管與下一層的所有調(diào)節(jié)閥連接起來,組成一個從前到后,逐層完全連通的水流系統(tǒng)。那么,計(jì)算機(jī)該如何使用這個龐大的水管網(wǎng)絡(luò)來學(xué)習(xí)識字呢?比如,當(dāng)計(jì)算機(jī)看到一張寫有“田”字的圖片,就簡單將組成這張圖片的所有數(shù)字(在計(jì)算機(jī)里,圖片的每個顏色點(diǎn)都是用“0”和“1”組成的數(shù)字來表示的)全都變成信息的水流,從入口灌進(jìn)水管網(wǎng)絡(luò)。我們預(yù)先在水管網(wǎng)絡(luò)的每個出口都插一塊字牌,對應(yīng)于每一個我們想讓計(jì)算機(jī)認(rèn)識的漢字。這時,因?yàn)檩斎氲氖恰疤铩边@個漢字,等水流流過整個水管網(wǎng)絡(luò),計(jì)算機(jī)就會跑到管道出口位置去看一看,是不是標(biāo)記由“田”字的管道出口流出來的水流最多。如果是這樣,就說明這個管道網(wǎng)絡(luò)符合要求。如果不是這樣,就調(diào)節(jié)水管網(wǎng)絡(luò)里的每一個流量調(diào)節(jié)閥,讓“田”字出口“流出”的水最多。與訓(xùn)練時做的事情類似,未知的圖片會被計(jì)算機(jī)轉(zhuǎn)變成數(shù)據(jù)的水流,灌入訓(xùn)練好的水管網(wǎng)絡(luò)。這時,計(jì)算機(jī)只要觀察一下,哪個出水口流出來的水流最多,這張圖片寫的就是哪個字。圖49:深度學(xué)習(xí)就像自來水管系統(tǒng),不斷調(diào)節(jié)各個閥門,讓對應(yīng)出口的流量符合要深度學(xué)習(xí)大致就是這么一個用
人類的數(shù)學(xué)知識與計(jì)算機(jī)算法
構(gòu)建起來的整體架構(gòu),再結(jié)合
盡可能多的訓(xùn)練數(shù)據(jù)以及計(jì)算
機(jī)的大規(guī)模運(yùn)算能力去調(diào)節(jié)內(nèi)
部參數(shù),盡可能逼近問題目標(biāo)
的半理論、半經(jīng)驗(yàn)的建模方式。人工智能研究框架培訓(xùn)
54機(jī)器學(xué)習(xí)VS
深度學(xué)習(xí)01機(jī)器學(xué)習(xí)與深度學(xué)習(xí)有著明顯的異同點(diǎn)在數(shù)據(jù)準(zhǔn)備和預(yù)處理方面,兩者是很相似的。他們都可能對數(shù)據(jù)進(jìn)行一些操作:數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)簽、歸一化、去噪、降維。核心區(qū)別:傳統(tǒng)機(jī)器學(xué)習(xí)的特征提取主要依賴人工,針對特定簡單任務(wù)的時候人工提取特征會簡單有效,但是并不能通用;深度學(xué)習(xí)的特征提取并不依靠人工,而是機(jī)器自動提取的。這也是為什么都說深度學(xué)習(xí)的可解釋性很差,因?yàn)橛袝r候深度學(xué)習(xí)雖然能有好的表現(xiàn),但是我們并不知道他的原理是什么。圖50:深度學(xué)習(xí)與機(jī)器學(xué)習(xí)在不同階段有不同的異同點(diǎn)數(shù)據(jù)來源:證券研究數(shù)據(jù)預(yù)處理特征提取選擇分類器數(shù)據(jù)預(yù)處理設(shè)計(jì)模型訓(xùn)練傳統(tǒng)機(jī)器學(xué)習(xí)深度學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的相似處傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的核心區(qū)別圖51:深度學(xué)習(xí)的優(yōu)缺點(diǎn)如下所示優(yōu)點(diǎn)1:學(xué)習(xí)能力強(qiáng)從結(jié)果來看,深度學(xué)習(xí)的表現(xiàn)非常好,他的學(xué)習(xí)能力非常強(qiáng)。優(yōu)點(diǎn)2:覆蓋范圍廣,適應(yīng)性好深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)很多,寬度很廣,理論上可以映射到任意函數(shù),所以能解決很復(fù)雜的問題。優(yōu)點(diǎn)3:數(shù)據(jù)驅(qū)動,上限高深度學(xué)習(xí)高度依賴數(shù)據(jù),數(shù)據(jù)量越大,他的表現(xiàn)就越好。在圖像識別、面部識別、NLP等部分任務(wù)甚至已經(jīng)超過了人類的表現(xiàn)。同時還可以通過調(diào)參進(jìn)一步提高他的上限。優(yōu)點(diǎn)4:可移植性好由于深度學(xué)習(xí)的優(yōu)異表現(xiàn),有很多框架可以使用,例如TensorFlow、Pytorch缺點(diǎn)1:計(jì)算量大,便攜性差深度學(xué)習(xí)需要大量的數(shù)據(jù)很大量的算力,所以成本很高。缺點(diǎn)2:硬件需求高深度學(xué)習(xí)對算力要求很高,普通的CPU已經(jīng)無法滿足深度學(xué)習(xí)的要求。主流的算力都是使用GPU和TPU。缺點(diǎn)3:模型設(shè)計(jì)復(fù)雜深度學(xué)習(xí)的模型設(shè)計(jì)非常復(fù)雜,需要投入大量的人力物力和時間來開發(fā)新的算法和模型。大部分人只能使用現(xiàn)成的模型。缺點(diǎn)4:沒有”人性”,容易存在偏見由于深度學(xué)習(xí)依賴數(shù)據(jù),并且可解釋性不高。在訓(xùn)練數(shù)據(jù)不平衡的情況下會出現(xiàn)倫理風(fēng)險。數(shù)據(jù)來源:easyai官網(wǎng),證券研究人工智能研究框架培訓(xùn)
55深度學(xué)習(xí)包括四種典型的算法014種典型的深度學(xué)習(xí)算法:卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)圖52:深度學(xué)習(xí)的幾種主要算法如下數(shù)據(jù)來源:easyai官網(wǎng),證券研究循環(huán)神經(jīng)網(wǎng)絡(luò)–RNNRNN是一種能有效的處理序列數(shù)據(jù)的算法。比如:文章內(nèi)容、語音音頻、股票價格走勢…深度強(qiáng)化學(xué)習(xí)–DL深度強(qiáng)化學(xué)習(xí)就是用深度學(xué)習(xí)來對強(qiáng)化學(xué)習(xí)中的State、Policy進(jìn)行表示。區(qū)別的話,深度強(qiáng)化學(xué)習(xí)是深度學(xué)習(xí)的一個子類卷積神經(jīng)網(wǎng)絡(luò)–CNN能夠?qū)⒋髷?shù)據(jù)量的圖片有效的降維 成小數(shù)據(jù)量(并不影響結(jié)果)能夠
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 全案整裝合同范例
- 借款合同范本 個人
- 醫(yī)院保潔服務(wù)合同范本
- 五金合作合同范本
- 中介寄賣合同范本
- 單位廁所裝修合同范本
- 醫(yī)療家具清單購買合同范本
- 公司購買牛奶購銷合同范本
- 出租商用合同范本
- 十三薪標(biāo)準(zhǔn)合同范本
- 中山大學(xué)抬頭信紙中山大學(xué)橫式便箋紙推薦信模板a
- 皮膚性病學(xué)課件:濕疹皮炎
- 無形資產(chǎn)評估完整版課件
- 一體化學(xué)工服務(wù)平臺、人事管理系統(tǒng)、科研管理系統(tǒng)建設(shè)方案
- 市場營銷學(xué)課后習(xí)題與答案
- 常暗之廂(7規(guī)則-簡體修正)
- 10kV變電所設(shè)備檢修內(nèi)容與周期表
- 制冷系統(tǒng)方案的設(shè)計(jì)pptx課件
- 修心七要原文
- 中國TBHQ行業(yè)市場調(diào)研報告
- 1資產(chǎn)負(fù)債表變動情況的分析評價
評論
0/150
提交評論