2024機(jī)器學(xué)習(xí)深度學(xué)習(xí)工程實(shí)戰(zhàn)

AI首先講一下平安人壽AI應(yīng)用技術(shù)概覽，首先分一個(gè)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)，分為平臺(tái)級(jí)的開(kāi)發(fā)和HadoopDBhivespark，hivehql，sparkDruid&ESPresto&Impala。還有一些用matlab,SAS做精算量化模型，還用Tensorflow做深度學(xué)習(xí)，用Hbase，Redis主要做畫(huà)像存儲(chǔ)，提供實(shí)時(shí)查詢，還有一些容器平臺(tái)對(duì)外提供容器調(diào)用。AIAIAI算法管些圖像的、自然語(yǔ)言的。還有一個(gè)成本比較高，互聯(lián)網(wǎng)所做的模型都要經(jīng)過(guò)A/Btext，但那么如何解決這些問(wèn)題呢，大致從以下三個(gè)方面解決畫(huà)像產(chǎn)生、質(zhì)量檢驗(yàn)、數(shù)據(jù)強(qiáng)度。事實(shí)三元組即主語(yǔ)、謂語(yǔ)、賓語(yǔ)，對(duì)圖像就做embedding。將數(shù)據(jù)抽象統(tǒng)一后做畫(huà)現(xiàn)不重要，這種建模出問(wèn)題，因此需要判斷變量在模型中的重要性，評(píng)價(jià)指標(biāo)有IV值、卡相關(guān)性的指標(biāo)有相關(guān)性系數(shù)、PCA/RUFS、方差膨脹因子，除此之外還會(huì)降維（PCA不夠RUFS）spark+python，實(shí)現(xiàn)數(shù)配置靈活，數(shù)據(jù)embedding方法有很多，如圖像embedding、單詞embedding、圖節(jié)點(diǎn)KBTF/IDF型，word2vecSITFCNNembedding，與worker模型將其匯聚，返回一個(gè)worker，然后利用worker進(jìn)行本地模型的更新。MPMPI，但是它主要是研究Hadoop，編程簡(jiǎn)單，能容錯(cuò)，但是限定嚴(yán)格，不靈活，通過(guò)磁盤交換數(shù)據(jù)，效率低。接下來(lái)就DAG（有向無(wú)環(huán)圖），典型實(shí)現(xiàn)就是spark，內(nèi)存計(jì)算，限定放寬，可tensorflow是典型代表，好處就是自動(dòng)求微分，支持任意迭代，可以實(shí)現(xiàn)絕大部分NN算法；缺點(diǎn)就是容錯(cuò)能力弱。后來(lái)出現(xiàn)了動(dòng)態(tài)計(jì)算圖，主要代表有Torch，還有tensorflow也支持，支持計(jì)算中更改圖，而且很實(shí)用RNN。回來(lái)，這種方式比較慢，但是能夠保證收斂。然后就是ASP，全異步，因此主要用來(lái)單機(jī)petuum接下來(lái)分享一下我們是如何實(shí)現(xiàn)的。首先分布式機(jī)器學(xué)習(xí)集群依靠spark，spark特點(diǎn)有：以DAG描述計(jì)算任務(wù),以RDD抽象數(shù)據(jù)操作，基于內(nèi)存的數(shù)據(jù)交換，同步參數(shù)更新(BSP),與生產(chǎn)環(huán)境無(wú)縫對(duì)接,主要采用數(shù)據(jù)并行?；趕park分布式集群開(kāi)發(fā)了很多包，MLlib包實(shí)現(xiàn)決策樹(shù)、SVN、LR；splashMCMC,GibbsSampling,LDA,比mllib20還有一個(gè)是DeepLearning4j，主要是在spark上做深度學(xué)習(xí)，支持GPUTensorFlow靈活不能自動(dòng)寫(xiě)網(wǎng)絡(luò)結(jié)構(gòu)；接下來(lái)就是我們實(shí)現(xiàn)的PAMLkit，支持NB,AdaGrad+FM,FTRL+LR算法?；趕park分布式集群實(shí)戰(zhàn)經(jīng)驗(yàn)首要的一點(diǎn)是要理解算法，不能有偏差。接下來(lái)就是代碼Gradient),正則項(xiàng)類(Updater)，優(yōu)化器類(Optimizer)相互獨(dú)立。還有就接下來(lái)講一下在TensorFlowTensorFlow輔以視覺(jué)文本，DNN算法應(yīng)用廣泛，其他相關(guān)算法（CNN、AE）已開(kāi)始成功應(yīng)用，強(qiáng)化學(xué)習(xí)正在研發(fā)中。TensorFlow分布式特點(diǎn)：編碼組建訓(xùn)練集群并分配任務(wù)；需要手動(dòng)在式經(jīng)過(guò)了以下三個(gè)階段：?jiǎn)螜C(jī)單卡，整體一次性讀入數(shù)據(jù)，迭代時(shí)逐batch送入顯存；后來(lái)進(jìn)入單機(jī)雙卡，采用輸入隊(duì)列，出隊(duì)后在GPU之間輪發(fā)數(shù)據(jù)。同步模式，每GPU的梯度做平均后更新參數(shù)；后來(lái)進(jìn)入多機(jī)多卡，采用Betweengraph,準(zhǔn)同步模式。提前切分?jǐn)?shù)據(jù)，不用手動(dòng)啟動(dòng)進(jìn)程，主要是基于pdsh分發(fā)數(shù)據(jù)，啟動(dòng)服務(wù)。GBDT+FM+DNNGBDT+FMspark上訓(xùn)練，DNNTensorFlowsparkTensorFlowHDFSPDSHTensorFlowworkerhdfsSparktensorflowRDD廣，投入生產(chǎn)的模型多達(dá)數(shù)百個(gè)，分散運(yùn)行，監(jiān)控困難。另一個(gè)就是建模平臺(tái)很多，現(xiàn)有ATLBvaphonASRprkenofwin需要達(dá)到目標(biāo)：集中管理、統(tǒng)一監(jiān)控；第二個(gè)上線快速，節(jié)約資源,可伸縮高可靠；不能限thriftjava，c++等；u成熟穩(wěn)定，開(kāi)源十年，使用廣泛；輕便簡(jiǎn)單，有編譯器(不足3M)即可。服務(wù)協(xié)調(diào)用zookeeper，在線存儲(chǔ)用redis，對(duì)外通信庫(kù)用Netty，運(yùn)行容器用