谷歌深度學(xué)習(xí)在Kubernetes上的實(shí)踐

谷歌深度學(xué)習(xí)框架Tensorflow在Kubernetes上的實(shí)踐鄭澤宇才云科技首席科學(xué)家zeyu@caicloud.io12鄭澤宇才云科技caicloud.io3鄭澤宇才云科技caicloud.io4鄭澤宇才云科技caicloud.io深度學(xué)習(xí)5鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習(xí)簡(jiǎn)介Tensorflow簡(jiǎn)介Tensorflow+Kubernetes6鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習(xí)簡(jiǎn)介Tensorflow簡(jiǎn)介Tensorflow+Kubernetes7鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的動(dòng)機(jī)寫規(guī)則如果對(duì)手有兩個(gè)連在一起的就堵上第三個(gè)如果自己有兩個(gè)連在一起的就臉上第三個(gè)-

…8鄭澤宇才云科技caicloud.io搜索深度學(xué)習(xí)的動(dòng)機(jī)9鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的動(dòng)機(jī)10鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的動(dòng)機(jī)11鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的動(dòng)機(jī)12鄭澤宇才云科技caicloud.io人類學(xué)習(xí)13鄭澤宇才云科技caicloud.io

通用學(xué)習(xí)模型假設(shè)14鄭澤宇才云科技caicloud.ioBrainPortproject——通過舌頭“看”世界通用學(xué)習(xí)模型假設(shè)15鄭澤宇才云科技caicloud.io深度學(xué)習(xí)簡(jiǎn)介ImageNet通過圖片去描述概念100,000+概念平均每個(gè)概念有1000張圖片每張圖片都是人工標(biāo)注的深度學(xué)習(xí)——圖像處理16鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——圖像處理17鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——圖像處理18鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——圖像處理深度學(xué)習(xí)之前深度學(xué)習(xí)之后19鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——圖像處理應(yīng)用谷歌地圖定位具體地址/識(shí)別門牌號(hào)20鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——圖像處理應(yīng)用無人駕駛車21鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)——自然語言處理

22鄭澤宇才云科技caicloud.io對(duì)語義建模知識(shí)圖庫(kù)（WordNet）人工定義近義詞耗時(shí)長(zhǎng)，代價(jià)大，靈活性差深度學(xué)習(xí)Embedding深度學(xué)習(xí)——自然語言處理應(yīng)用機(jī)器同聲傳譯23鄭澤宇才云科技caicloud.io深度學(xué)習(xí)——自然語言處理應(yīng)用情感分析品牌建設(shè)股市分析24鄭澤宇才云科技caicloud.io……深度學(xué)習(xí)——自然語言處理應(yīng)用25鄭澤宇才云科技caicloud.io句子級(jí)別：80%->85.4%短語級(jí)別：71%->80.7%人腦的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)模型26鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型27鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型28鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型012345678901000000001圖像識(shí)別情感分類0129目錄提綱深度學(xué)習(xí)簡(jiǎn)介Tensorflow簡(jiǎn)介Tensorflow+Kubernetes30鄭澤宇才云科技caicloud.io編譯鏡像Google官方提供Tensorflow的基礎(chǔ)鏡像運(yùn)行TensorBoard運(yùn)行文件服務(wù)器方便文件傳輸拷貝demo（optional）運(yùn)行鏡像深度學(xué)習(xí)的優(yōu)勢(shì)RunTensorflowonDockerTensorboard端口文件服務(wù)器端口31鄭澤宇才云科技caicloud.ioJupyter編輯器端口深度學(xué)習(xí)的優(yōu)勢(shì)TensorflowHelloWorlddemo通過Sessions維護(hù)上下文，所有執(zhí)行都需要通過Session數(shù)據(jù)都存儲(chǔ)在“tensor”中.變量都存儲(chǔ)在

Variables中在運(yùn)行前所有變量都需要初始化所有結(jié)果都需要先運(yùn)行才能獲取32鄭澤宇才云科技caicloud.ioMNIST+SKLEARN8:30009/tree#MNIST+TensorBoardhttp://8:30006ImageNet+ServingWord2VecDemo深度學(xué)習(xí)的優(yōu)勢(shì)Tensorboarddemo33鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習(xí)簡(jiǎn)介Tensorflow簡(jiǎn)介Tensorflow+Kubernetes34鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的優(yōu)勢(shì)沒有免費(fèi)午餐——計(jì)算量問題Inception-v3modelforImageNet2500萬參數(shù)每次inference/forwardprorogate50億乘法/加法操作35鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的優(yōu)勢(shì)沒有免費(fèi)午餐——優(yōu)化問題神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，難以直接求解迭代優(yōu)化算法——梯度下降法需要海量數(shù)據(jù)以及海量計(jì)算單機(jī)需要訓(xùn)練達(dá)到78%的正確率需要？36鄭澤宇才云科技caicloud.io5個(gè)月！深度學(xué)習(xí)的優(yōu)勢(shì)沒有免費(fèi)午餐歸根結(jié)底都是計(jì)算量問題！37鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的優(yōu)勢(shì)Kubernetestotherescue谷歌內(nèi)部——BorgGoogleBrain跑在數(shù)十萬臺(tái)機(jī)器上谷歌電商商品分類深度學(xué)習(xí)模型跑在1000+臺(tái)機(jī)器上谷歌外部——KubernetesKubernetes為Borg的開源版，是一個(gè)容器集群管理系統(tǒng)Tensorflow原生態(tài)支持并行化的跑在kubernetes上38鄭澤宇才云科技caicloud.io深度學(xué)習(xí)的優(yōu)勢(shì)DistributedTensorflow39鄭澤宇才云科技caicloud.io參數(shù)服務(wù)器計(jì)算服務(wù)器深度學(xué)習(xí)的優(yōu)勢(shì)TensorflowonKubernetes40鄭澤宇才云科技caicloud.io啟動(dòng)cluster啟動(dòng)對(duì)每個(gè)Server需要指定其他ServerIp每個(gè)Server建立一套Service–Replica-ControllerPetSet對(duì)于每個(gè)Server需要指定是參數(shù)服務(wù)器還是計(jì)算服務(wù)器運(yùn)行Job手工指定不同操作到不同服務(wù)器不同服務(wù)器計(jì)算不同數(shù)據(jù)Example

code：將任務(wù)分配到每個(gè)計(jì)算服務(wù)器參數(shù)服務(wù)器負(fù)責(zé)調(diào)度學(xué)習(xí)資源深度學(xué)習(xí)的優(yōu)勢(shì)TensorflowonKubernetes41鄭澤宇才云科技caicloud.ioforiin${ALL_WORKER}pythontrain.py\--worker_grpc_url="${WORKER_GRPC_URL}"\