2023京東大數(shù)據(jù)技術(shù)白皮書(shū)

京東大數(shù)據(jù)技術(shù)白皮書(shū)京東大數(shù)據(jù)技術(shù)白皮書(shū)京東大數(shù)據(jù)技術(shù)白皮書(shū)~~PAGE1~目 錄序言 3前言 5京東大數(shù)據(jù)的發(fā)展歷程 8京東大數(shù)據(jù)的技術(shù)體系 10數(shù)據(jù)采集和預(yù)處理 10流量數(shù)據(jù)采集 13數(shù)據(jù)存儲(chǔ)體系 22離線計(jì)算環(huán)境 34實(shí)時(shí)計(jì)算環(huán)境 37機(jī)器學(xué)習(xí)環(huán)境 40任務(wù)管理和調(diào)度 43資源監(jiān)控和運(yùn)維 49京東大數(shù)據(jù)的數(shù)據(jù)管理 54數(shù)據(jù)架構(gòu)設(shè)計(jì) 55數(shù)據(jù)資產(chǎn)管理 57統(tǒng)一指標(biāo)體系 65數(shù)據(jù)安全管理 66數(shù)據(jù)服務(wù)管理 68京東大數(shù)據(jù)的數(shù)據(jù)產(chǎn)品 75京東商智 75智能營(yíng)銷 76數(shù)據(jù)管家 77祖沖之 78京東大數(shù)據(jù)的應(yīng)用場(chǎng)景 80營(yíng)銷領(lǐng)域 80物流領(lǐng)域 81供應(yīng)鏈領(lǐng)域 82智能零售 85金融業(yè)務(wù)創(chuàng)新 86時(shí)尚創(chuàng)新 88人工智能 89京東大數(shù)據(jù)的合作生態(tài) 93京東大數(shù)據(jù)的特點(diǎn) 95高可用和高性能 95一站式服務(wù)平臺(tái) 98可靠的安全保障 99京東大數(shù)據(jù)展望 103融合統(tǒng)一 103開(kāi)放合作 109技術(shù)前瞻 110結(jié)語(yǔ) 117參考文獻(xiàn) 118京東大數(shù)據(jù)技術(shù)白皮書(shū)京東大數(shù)據(jù)技術(shù)白皮書(shū)~~PAGE100~前言145001957020205一定程度上制約了大數(shù)據(jù)技術(shù)的大規(guī)模產(chǎn)業(yè)應(yīng)用。京東擁有全渠道零售和端到端的高質(zhì)量大數(shù)據(jù)，包含了用戶的瀏覽和消費(fèi)行為、商品制造和銷售、物流倉(cāng)儲(chǔ)配送以及客服與2010重要陣地，目前已擁有集群規(guī)模40000+服務(wù)器，數(shù)據(jù)規(guī)模達(dá)800PB+，每日的JOB數(shù)100萬(wàn)+，業(yè)務(wù)表900萬(wàn)+，每日的離線7000務(wù)的各個(gè)環(huán)節(jié)。近幾年，京東大數(shù)據(jù)承擔(dān)了包括大數(shù)據(jù)和人工智能領(lǐng)域在內(nèi)的多項(xiàng)國(guó)家級(jí)重點(diǎn)研發(fā)項(xiàng)目。2017年，京東獲得了國(guó)家“大數(shù)據(jù)智能管理與分析技術(shù)”國(guó)家地方聯(lián)合工程研究中心的授牌。這些都是國(guó)家對(duì)京東大數(shù)據(jù)實(shí)力的認(rèn)可，是京東技術(shù)實(shí)力的體現(xiàn)。據(jù)領(lǐng)域深入探索，為我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展貢獻(xiàn)力量。京東大數(shù)據(jù)的發(fā)展歷程2010式，成為企業(yè)大數(shù)據(jù)最早的實(shí)踐者之一。Hadoop圖1所示。技術(shù)領(lǐng)域覆蓋Hadoop、Kubernetes、Spark、Hive、AlluxioPrestoHbaseStormFlinkKafka500+人，累計(jì)獲得技術(shù)專利400+個(gè)。40000+7000+JOB數(shù)100萬(wàn)+，業(yè)務(wù)表900萬(wàn)+張。每日的離線數(shù)據(jù)日處理30PB+，實(shí)時(shí)計(jì)算每天消費(fèi)的行數(shù)近萬(wàn)億條。圖1：京東大數(shù)據(jù)發(fā)展歷程京東大數(shù)據(jù)的技術(shù)體系2HadoopKubernetesSparkHiveAlluxio、PrestoHbaseStormFlinkKafka圖2：京東大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)數(shù)據(jù)采集和預(yù)處理數(shù)據(jù)采集是大數(shù)據(jù)的基石。京東包含了電商所涉及的營(yíng)銷、據(jù)直通車。數(shù)據(jù)直通車為京東線上數(shù)據(jù)接入京東數(shù)據(jù)倉(cāng)庫(kù)提供了一套算、實(shí)時(shí)計(jì)算、集成分發(fā)等多種需求，并進(jìn)行全程狀態(tài)監(jiān)控。離線數(shù)據(jù)采集和實(shí)時(shí)數(shù)據(jù)采集兩種數(shù)據(jù)采集方式。MySLSQLServerOracleMongoDBHBaseElasticSearchHTTPAPIJMQ等，并支持API（T+1將T+13整架構(gòu)：圖3：離線數(shù)據(jù)采集架構(gòu)數(shù)據(jù)直通車同樣為實(shí)時(shí)數(shù)據(jù)采集提供了一套標(biāo)準(zhǔn)化的解決MySQLSQLServerOracleJMQ、日志等多種數(shù)據(jù)源類型。對(duì)于MySQL過(guò)把關(guān)系型數(shù)據(jù)庫(kù)的Binlog日志實(shí)時(shí)抓取并解析發(fā)送到實(shí)時(shí)數(shù)MySQL實(shí)例上的所有BinlogTopic戶進(jìn)行業(yè)務(wù)表粒度的實(shí)時(shí)處理。JMQ在落數(shù)據(jù)庫(kù)之前都會(huì)經(jīng)過(guò)JMQ傳遞。數(shù)據(jù)直通車可以把JMQ高了數(shù)據(jù)處理系統(tǒng)的服務(wù)能力。京東內(nèi)部所有系統(tǒng)的實(shí)時(shí)數(shù)據(jù)都會(huì)通過(guò)數(shù)據(jù)直通車實(shí)時(shí)采集到JDQJDQ雜度，并使得系統(tǒng)能夠提供穩(wěn)定的服務(wù)能力。流量數(shù)據(jù)采集PCH5Q及通過(guò)開(kāi)普勒開(kāi)放賦能給其他合作的APP等等。多樣的數(shù)據(jù)展采集的相關(guān)技術(shù)。瀏覽器頁(yè)面的采集采集流程志，頁(yè)面日志采集的流程如圖4所示。圖4：頁(yè)面日志采集流程頁(yè)面日志采集主要包含以下幾個(gè)環(huán)節(jié)：JS（頁(yè)面的上一頁(yè)面信息等等）以及業(yè)務(wù)特性的相關(guān)數(shù)據(jù)。JSJS日志服務(wù)器發(fā)送。日志接收。日志接收服務(wù)器在接收到客戶端發(fā)送來(lái)的用。后通過(guò)日志抽取的方式將本地的日志及時(shí)抽取到相應(yīng)對(duì)數(shù)據(jù)進(jìn)行加工處理。據(jù)收集。頁(yè)面日志（pv（v為營(yíng)銷策略調(diào)整提供數(shù)據(jù)支撐。其他基本信息。用戶在頁(yè)面中的訪問(wèn)路徑等等。點(diǎn)擊及自定義日志的采集方法主要為用戶特定標(biāo)記的信息移動(dòng)設(shè)備日志采集本以APPAPPSDKSDK可以收集用戶在APP的各種事件行為數(shù)據(jù)，收集APPSDK被預(yù)置在APP應(yīng)用內(nèi)，用戶在使用APPSDK并收集到APP器。頁(yè)面標(biāo)識(shí)網(wǎng)站頁(yè)面在瀏覽器內(nèi)訪問(wèn)時(shí)，會(huì)有相應(yīng)的頁(yè)面鏈接，而用戶口描述信息，業(yè)務(wù)可以快速地查閱和使用。頁(yè)面事件事件行為植入到對(duì)應(yīng)的接口中，再通過(guò)SDK進(jìn)行采集上報(bào)，就可以快速地標(biāo)識(shí)出用戶的事件數(shù)據(jù)。特殊場(chǎng)景電商行業(yè)包含了兩大特殊的業(yè)務(wù)場(chǎng)景：引流、跟單。統(tǒng)計(jì)分析出各個(gè)廣告渠道的引流效果。設(shè)備標(biāo)識(shí)目前移動(dòng)設(shè)備可以通過(guò)果的UDID果系統(tǒng)禁用設(shè)備標(biāo)識(shí)，Android歷史數(shù)據(jù)及算法，融合出自己的唯一標(biāo)識(shí)JDID一標(biāo)識(shí)一個(gè)設(shè)備。H5APP我們?cè)谠L問(wèn)一個(gè)APP設(shè)備時(shí)，通常會(huì)包含兩種頁(yè)面形式，一種是APP原生頁(yè)，一種是H5頁(yè)面，其中APP采集通過(guò)SDK的方式來(lái)采集，H5頁(yè)面則是通過(guò)頁(yè)面中的JS來(lái)進(jìn)行采集，由于是在同一個(gè)APPAPP內(nèi)的H5的數(shù)據(jù)算作APP的一部分，而由于采集方式的不H5APP應(yīng)用內(nèi)訪問(wèn)帶來(lái)的。日志采集控制客戶端與服務(wù)器日志采集為合法日志，最終將業(yè)務(wù)日志落地到相應(yīng)的服務(wù)器上。采集的難點(diǎn)與挑戰(zhàn)業(yè)務(wù)特性在數(shù)據(jù)采集過(guò)程中遇到的一個(gè)難點(diǎn)就是業(yè)務(wù)特性信息的收全域用戶標(biāo)識(shí)PC數(shù)據(jù)存儲(chǔ)體系HDFS存儲(chǔ)JDHDFS是京東基于HDFS高可靠性的特點(diǎn)，容易擴(kuò)展,并支持水平擴(kuò)展至百PB量,同時(shí)擁有較高的硬件故障容忍能力,提供全面的安全性和多樣化的權(quán)限功能。HS，JHDS下：基于路由的Federation方案(Router-BasedFederation)隨著集群規(guī)模的增長(zhǎng)，Namenode存儲(chǔ)成為集群性能的關(guān)鍵瓶頸。我們參考社區(qū)版本設(shè)計(jì)文檔,研發(fā)功能模塊RBF（Router-BasedFederation基于路由的Federation方案）,支持動(dòng)態(tài)映射、嵌套映射等功能，可以解決hadoop集群無(wú)限橫向擴(kuò)展的規(guī)模問(wèn)題。數(shù)據(jù)生命周期管理(DataLifecycleManagement基于數(shù)據(jù)生命周期管理的策略，該組件定期調(diào)度進(jìn)行過(guò)期Job日志聚合目錄app-logs、中間結(jié)果文件、Cgroups文件的清理以及固定周期小文件的整理合并。基于資源利用率的智能選塊改進(jìn)后的Namenode節(jié)點(diǎn)可以實(shí)時(shí)感知集群所有DatanodeCPU的位置選擇，規(guī)避繁忙狀態(tài)的Datanode節(jié)點(diǎn)，可以對(duì)整個(gè)集群的負(fù)載實(shí)時(shí)平衡?？缂喝轂?zāi)據(jù)延遲。我們基于集群數(shù)據(jù)同步方式代替distcp,同時(shí)做到數(shù)據(jù)低延遲訪問(wèn),支持雙主訪問(wèn),降低額外物理資源冗余。京東分布式存儲(chǔ)采用將元數(shù)據(jù)集群與數(shù)據(jù)集群分離并可實(shí)5JDHDFS圖5：JDHDFS技術(shù)架構(gòu)數(shù)據(jù)高可靠和平臺(tái)高可用服務(wù)。手動(dòng)設(shè)置1-4個(gè)文件副本,可保證數(shù)據(jù)在多塊磁盤甚至單臺(tái)服務(wù)器損壞的情況下存儲(chǔ)系統(tǒng)的服務(wù)正常運(yùn)轉(zhuǎn)。為了保證任何一臺(tái)存儲(chǔ)服務(wù)器失效或者是任何一塊硬盤失效都不會(huì)影響數(shù)據(jù)的可靠性和一致性，使用pipeline機(jī)制保證數(shù)6圖6：JDHDFS存儲(chǔ)架構(gòu)圖集群水平擴(kuò)展能力存儲(chǔ)平臺(tái)中的元數(shù)據(jù)服務(wù)器和存儲(chǔ)節(jié)點(diǎn)是擁有橫向水平擴(kuò)圖7務(wù)能力也會(huì)呈線性增長(zhǎng)，能夠管理的文件總個(gè)數(shù)也線性增加。圖7：元數(shù)據(jù)服務(wù)器HBaseJDHBasePB目前京東HBase集群規(guī)模5000多臺(tái)，支持京東600多個(gè)業(yè)務(wù)系統(tǒng)，典型業(yè)務(wù)有：商城：商品評(píng)價(jià)、會(huì)員PLUSPOP訂單、商家營(yíng)銷智能：JIMIAI金融：風(fēng)控、白條、支付、資管物流：訂單追蹤、物流倉(cāng)儲(chǔ)、銷量預(yù)測(cè)大屏監(jiān)控JDHBase（8HBaseHBase換、分組隔離、SQLJDHBaseHBase都使用標(biāo)準(zhǔn)客戶端來(lái)訪問(wèn)HBase備切換、實(shí)時(shí)監(jiān)控等功能。JDHBase的動(dòng)態(tài)變更。圖8：JDHBase服務(wù)架構(gòu)京東HBase（1） 4+1針對(duì)京東的業(yè)務(wù)場(chǎng)景和使用方式，我們對(duì)JDHBase的使用9JDHBase統(tǒng)。底層部署上我們支持將HDFS和HBase以利用容器技術(shù)快速擴(kuò)容和創(chuàng)建新的HBase的讀寫(xiě)需求。在HBase內(nèi)核部分我們通過(guò)修改源碼讓HBaseRegionServer能夠識(shí)別運(yùn)行的硬件類型并根據(jù)其預(yù)設(shè)值自適應(yīng)到最佳性能狀態(tài)，支持多種硬件混合部署集群。在中間件部分我們通過(guò)接口服務(wù)的方式向外圍系統(tǒng)提供支服務(wù)、配額&限速管理服務(wù)，多語(yǔ)言支持組件等。在用戶層我們向最終用戶提供多種可選的數(shù)據(jù)加載方式和查詢引擎滿足不同業(yè)務(wù)場(chǎng)景和需求。圖9：JDHbase技術(shù)架構(gòu)多活災(zāi)備為了滿足業(yè)務(wù)對(duì)JDHBase讀寫(xiě)的實(shí)時(shí)性要求和數(shù)據(jù)安全性的（10namespace多集群切換機(jī)制的主要工作組件由服務(wù)中心、HBasePolicyServer、客戶端三部分構(gòu)成：客戶端會(huì)定期以心跳的方式訪問(wèn)HBasePolicyServer獲取所變之后客戶端會(huì)根據(jù)切換策略進(jìn)入切換流程。PolicyServer是對(duì)外提供查詢和修改策略的服務(wù)，它所有策略數(shù)據(jù)會(huì)存儲(chǔ)在MySQL中，可以通過(guò)加節(jié)點(diǎn)的方式動(dòng)態(tài)擴(kuò)展形成一個(gè)服務(wù)集群，避免單點(diǎn)問(wèn)題。ServiceCenter提供一個(gè)界面化的多集群管理服務(wù)工具供管理員使用。據(jù)一致性并同步數(shù)據(jù)，保證數(shù)據(jù)安全性。圖10：HBase服務(wù)集群多租戶分組隔離HBaseHBase2.0的rs分組功能（目前官方仍然是beta版）并進(jìn)行了改進(jìn)完善，實(shí)現(xiàn)了將HBase11散，還能在618和11.11資源利用率。圖11：Hbase多租戶隔離SQL原生的HBase只提供key-value查詢和范圍掃描。我們引入phoenix等工作，可以支持標(biāo)準(zhǔn)sql查詢，例如創(chuàng)建二級(jí)索引、多表sql圖12所示。這使得HBase功能更加豐富，不僅支持實(shí)時(shí)查詢，還能做實(shí)時(shí)統(tǒng)計(jì)分析，適應(yīng)更復(fù)雜的應(yīng)用場(chǎng)景。圖12：支持SQL查詢G1回收器提升JVM將主備replication同步速度提升到分鐘級(jí)別，archive10%以上。隨著容器技術(shù)的成熟，我們正在嘗試Hbase的容器化部署，以便實(shí)現(xiàn)更好的資源隔離并提升資源使用率。由于承載的數(shù)據(jù)量越來(lái)越大，Hbase提供的均衡策略已經(jīng)不能滿足業(yè)務(wù)需求，我們也在著手進(jìn)行balance均衡策略的調(diào)整，并使用NettyRpcClient來(lái)改造PRC客戶端性能，提升數(shù)據(jù)寫(xiě)入的速度。在集群硬件方面，我們部署了SAS和SSD磁盤混合方案，從目前的壓測(cè)效果看比較好，將來(lái)會(huì)逐步上線。冷熱數(shù)據(jù)管理HDFS京東大數(shù)據(jù)針對(duì)冷熱數(shù)據(jù)設(shè)計(jì)了較完整的機(jī)制，主要包括：冷數(shù)據(jù)的規(guī)則配置管理員可配置冷數(shù)據(jù)的掃描范圍，對(duì)不同集群、ns、用戶可靈活配置不同的掃描路徑，歸檔周期以及歸檔路徑。部分?jǐn)?shù)據(jù)設(shè)置白名單進(jìn)行保護(hù)，避免被冷備份。冷數(shù)據(jù)的掃描和備份利用配置表對(duì)HDFS降副本操作和隔離操作，并釋放原有集群的存儲(chǔ)資源。冷數(shù)據(jù)的恢復(fù)和刪除定時(shí)間內(nèi)無(wú)恢復(fù)申請(qǐng)，將刪除冷數(shù)據(jù)并釋放資源到大集群。冷數(shù)據(jù)的統(tǒng)計(jì)分析報(bào)告大數(shù)據(jù)平臺(tái)同時(shí)提供從不同角度對(duì)冷數(shù)據(jù)歸檔信息進(jìn)行統(tǒng)查看。離線計(jì)算環(huán)境為：數(shù)據(jù)量巨大且保存時(shí)間長(zhǎng)；量計(jì)算的結(jié)果；數(shù)據(jù)在計(jì)算之前已經(jīng)完全到位，不會(huì)發(fā)生變化。HivPigSparkSQLPrestoMapReduceAlluxio13所示。圖13：離線計(jì)算架構(gòu)JDHive計(jì)算引擎服務(wù)JDHive是基于HIVE社區(qū)版本深度定制的大數(shù)據(jù)查詢引擎,它是目前業(yè)內(nèi)能夠支撐GB/TB/PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)的通用解決方案之一,支持將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù),能夠快速處理海量數(shù)據(jù)計(jì)算，有效降低分布式計(jì)算模型的使用成本。JDHive為用戶提供基于社區(qū)版的所有功能，同時(shí)進(jìn)一步推出一系列高級(jí)特性解決不同業(yè)務(wù)場(chǎng)景的需求,包括:元數(shù)據(jù)管理、審計(jì)日志管理、讀寫(xiě)IO管理、UDF統(tǒng)一管理等功能。針對(duì)服務(wù)性能優(yōu)化,我們堅(jiān)持不斷試錯(cuò)，不斷優(yōu)化，不斷打磨的原則,持續(xù)推動(dòng)著JDHive的進(jìn)化。如今京東大數(shù)據(jù)百分八十的業(yè)務(wù)都在使用JDHive提供的服務(wù)支持。JDSpark計(jì)算引擎服務(wù)JDSpark是京東大數(shù)據(jù)平臺(tái)對(duì)外開(kāi)放的核心計(jì)算引擎之一,旨在為高性能、迭代計(jì)算、時(shí)效性要求極高的場(chǎng)景服務(wù),同時(shí)針對(duì)部分具有研發(fā)能力較高的深度用戶提供SDK開(kāi)發(fā)功能。隨著京東業(yè)務(wù)的飛速增長(zhǎng),很多業(yè)務(wù)場(chǎng)景已經(jīng)無(wú)法接受基于磁盤批處理的MapReduce迭代計(jì)算,希望整體提升數(shù)據(jù)結(jié)果的時(shí)效性,我們的目標(biāo)是將JDSparkSSD技術(shù)手段提升任務(wù)的時(shí)效性。ADHOC我們針對(duì)ADHOC業(yè)務(wù)場(chǎng)景,提供實(shí)時(shí)查詢與預(yù)計(jì)算的兩種方式的查詢場(chǎng)景,分別使用Presto、Kylin計(jì)算引擎為用戶提供支YARN整合多種計(jì)算框架,優(yōu)化Presto的監(jiān)控和報(bào)警機(jī)PrestoCacheOrcMasterDocker圖14和圖15展示了基于Presto提供的ADHoc查詢服務(wù)的技術(shù)架構(gòu)。圖14：PrestoOnYarn計(jì)算架構(gòu)我們同時(shí)支撐許多線上業(yè)務(wù)系統(tǒng)的查詢服務(wù)，基于Yarn整合了Presto+AlluxioAlluxioLRUhdfs同步校驗(yàn)（一致性）具。圖15：Presto高可用架構(gòu)實(shí)時(shí)計(jì)算環(huán)境盡管傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的以天為計(jì)算周期對(duì)數(shù)據(jù)進(jìn)行批處理61811T+1（JR實(shí)現(xiàn)了計(jì)算過(guò)程的低延遲、JRC實(shí)時(shí)計(jì)算數(shù)據(jù)，未來(lái)將提供更加智能化的實(shí)時(shí)計(jì)算服務(wù)。圖16展示了京東大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)的技術(shù)架構(gòu)。圖16：實(shí)時(shí)計(jì)算平臺(tái)京東大數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境由三個(gè)部分組成：JDQJDQ是京東大數(shù)據(jù)平臺(tái)部基于Kafka重要服務(wù)。Kafka進(jìn)行了一系列的架構(gòu)改JDQ618和雙十一的考驗(yàn)后，性能表現(xiàn)非常穩(wěn)定。準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)將數(shù)據(jù)倉(cāng)庫(kù)的ETL將傳統(tǒng)的T+1模式的數(shù)據(jù)倉(cāng)庫(kù)升級(jí)為T+0Hive5ISERTUATE，DELETEJRC京東選擇Storm、SparkStreaming和Flink同時(shí)作為實(shí)時(shí)計(jì)算作為第一代增量計(jì)算的高速事件處理框架，它的毫秒級(jí)延遲滿足對(duì)延遲要求較高的場(chǎng)景。而SparkStreamingSQLStormFlinkFlinkStormStormExactlyOnce、狀態(tài)管理和窗口統(tǒng)計(jì)，在迭代式數(shù)據(jù)處理上，更是比Spark更突出。SQLSQL方式體驗(yàn)實(shí)時(shí)技術(shù)所帶來(lái)的魅力。鑒于Flink在技術(shù)架構(gòu)上的天然優(yōu)勢(shì)以及批流統(tǒng)一技術(shù)上的日趨完善，我們會(huì)逐步推動(dòng)Flink成為未來(lái)統(tǒng)一的、通用的大數(shù)據(jù)實(shí)時(shí)計(jì)算引擎。機(jī)器學(xué)習(xí)環(huán)境地在PB售等領(lǐng)域。京東的機(jī)器學(xué)習(xí)平臺(tái)由基礎(chǔ)架構(gòu)層、工具層、任務(wù)調(diào)度層、算法層以及API層組成，架構(gòu)圖如圖17所示。圖17：機(jī)器學(xué)習(xí)平臺(tái)基礎(chǔ)架構(gòu)層京東的機(jī)器學(xué)習(xí)平臺(tái)擁有調(diào)度大規(guī)模異構(gòu)計(jì)算資源的能力。CPUGPU高性能資源調(diào)度器能幫助不同的數(shù)據(jù)建模工具快速找到合定的協(xié)議對(duì)分布式的任務(wù)進(jìn)行錯(cuò)誤恢復(fù)。工具層工具層給用戶提供了機(jī)器學(xué)習(xí)算法研發(fā)的一站式服務(wù)。用戶可以通過(guò)離線和實(shí)時(shí)數(shù)據(jù)處理平臺(tái)進(jìn)行海量數(shù)據(jù)的處理和分析，從數(shù)據(jù)中找到業(yè)務(wù)的價(jià)值。能，用戶可以快速在海量數(shù)據(jù)上構(gòu)建上千億維度的模型。供了統(tǒng)一的serving平臺(tái)。用戶可以在不需要做任何系統(tǒng)開(kāi)發(fā)的serving根據(jù)算法模型的特點(diǎn)進(jìn)行了大量的硬件層面和軟件層面的性能A/BSDK對(duì)IOT設(shè)備之上。任務(wù)調(diào)度層成復(fù)雜的DAG算法層京東的機(jī)器學(xué)習(xí)平臺(tái)內(nèi)置了上百個(gè)經(jīng)過(guò)優(yōu)化的算法模塊。這些算法模塊覆蓋了視覺(jué)、語(yǔ)音、自然語(yǔ)言、統(tǒng)計(jì)分析、圖運(yùn)算、交互將不同的算法模塊鏈接到一起來(lái)完成一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)。API京東的機(jī)器學(xué)習(xí)平臺(tái)還為用戶提供了豐富的人工智能API行任何模型開(kāi)發(fā)就可以直接使用。任務(wù)管理和調(diào)度數(shù)據(jù)處理任務(wù)超過(guò)30京東分布式調(diào)度平臺(tái)很好地解決了這些問(wèn)題。如圖18所示，調(diào)度架構(gòu)基本分為以下幾個(gè)主要部分：NameNode、TaskNode、Web管理端和日志收集器。圖18：調(diào)度平臺(tái)基礎(chǔ)架構(gòu)圖NameNode作為控制節(jié)點(diǎn)主要負(fù)責(zé)將任務(wù)執(zhí)行命令發(fā)送給NameNode過(guò)瀏覽器打開(kāi)Web管理端查看、操作自己的任務(wù)。詳細(xì)功能如下：NameNodeNameNodeTaskNodeNameNode部分支持Alive-AliveTaskNodeNameNode按照一定的分配策略將任務(wù)分配到具體TaskNode后，TaskNode會(huì)主動(dòng)從NameNode領(lǐng)取任務(wù)，并根據(jù)（TasExcTaskNode會(huì)監(jiān)聽(tīng)進(jìn)程執(zhí)行結(jié)果并反饋給JDQ（并發(fā)數(shù)時(shí)執(zhí)行大量任務(wù)，另一方面通過(guò)cgroup實(shí)現(xiàn)節(jié)點(diǎn)級(jí)別和任務(wù)基TaskNode節(jié)點(diǎn)級(jí)別資源隔離節(jié)點(diǎn)可設(shè)置最大可用CPU和內(nèi)存，設(shè)置成功之后該節(jié)點(diǎn)上所有執(zhí)行的任務(wù)使用的資源總和不會(huì)超過(guò)配置的值。任務(wù)基本資源隔離單個(gè)任務(wù)可以單獨(dú)設(shè)置任務(wù)要使用的CPU和內(nèi)存。任務(wù)執(zhí)行過(guò)程中使用的資源不會(huì)超過(guò)配置的值。WebWebUI日志收集器日志收集器是一個(gè)JRC任務(wù)，從JDQ消費(fèi)任務(wù)日志并寫(xiě)入Hbase供管理端查詢。京東大數(shù)據(jù)分布式調(diào)度平臺(tái)的技術(shù)特點(diǎn)包括：實(shí)例行時(shí)，會(huì)按照當(dāng)時(shí)的實(shí)例來(lái)執(zhí)行，保證可重現(xiàn)當(dāng)時(shí)的場(chǎng)景。分配策略目前調(diào)度系統(tǒng)的TaskNode節(jié)點(diǎn)已超過(guò)800個(gè)TaskNode配置分配策略。輪詢策略TaskNode并發(fā)數(shù)策略每個(gè)TaskNode節(jié)點(diǎn)可以設(shè)置可同時(shí)運(yùn)行的任務(wù)數(shù)上限，我們稱為并發(fā)數(shù)。選擇該策略時(shí)，會(huì)根據(jù)“并發(fā)度=節(jié)點(diǎn)上當(dāng)前在執(zhí)行任務(wù)數(shù)/節(jié)點(diǎn)并發(fā)數(shù)”的結(jié)果排序，選擇節(jié)點(diǎn)并發(fā)度小的節(jié)點(diǎn)執(zhí)行任務(wù)。機(jī)器資源策略TaskNodeCPUNameNode，選擇該策略時(shí)，NameNodeCPUTaskNode跨周期依賴任務(wù)上下游之間存在依賴，可以理解成為一個(gè)有向無(wú)環(huán)圖（DAG圖。目前調(diào)度平臺(tái)可以很靈活地配置任務(wù)之間的關(guān)系，比如任務(wù)ABABA的周期執(zhí)行成功后才將B更好地理解這個(gè)概念，下面我們用個(gè)具體的例子進(jìn)行描述。A任務(wù)24執(zhí)行成功后，B2：A是小時(shí)任務(wù)，BA512B示例3：A任務(wù)是天任務(wù)，B任務(wù)是小時(shí)任務(wù)。A任務(wù)當(dāng)天（B24個(gè)周期才可以依次被執(zhí)行。示例4：A任務(wù)是天任務(wù)，B任務(wù)是每月運(yùn)行一次。A任務(wù)（也可以為上月或指定上月1010號(hào)功后，B諸如此類的場(chǎng)景，在調(diào)度平臺(tái)中被稱為跨周期依賴。數(shù)據(jù)依賴調(diào)度平臺(tái)還支持檢查某個(gè)HDFSHDFS產(chǎn)生了一份數(shù)據(jù)，下游團(tuán)隊(duì)需要使用這份數(shù)據(jù)做離線計(jì)算分析，HDFSok或success（名字可以隨意指定）標(biāo)識(shí)文件，文件可允許為空。然后在調(diào)度平臺(tái)里設(shè)置檢查HDFS對(duì)應(yīng)路徑的ok或success生成，下游任務(wù)就會(huì)馬上啟動(dòng)執(zhí)行。任務(wù)圖形化展現(xiàn)技術(shù)如何展示上千個(gè)任務(wù)的關(guān)系以及對(duì)任務(wù)進(jìn)行配置是個(gè)難點(diǎn)。graph1、可以在圖中對(duì)任務(wù)進(jìn)行編輯、禁用、啟用的各種操作；2、圖形化配置技術(shù)可以方便直觀地看到整個(gè)任務(wù)的依賴情況；3、可以對(duì)整體任務(wù)依賴圖進(jìn)行放大、縮數(shù)據(jù)模板數(shù)據(jù)模板是指調(diào)度系統(tǒng)將相關(guān)的抽取數(shù)據(jù)和推送數(shù)據(jù)的邏推送數(shù)據(jù)的邏輯。腳本倉(cāng)庫(kù)和任務(wù)動(dòng)態(tài)執(zhí)行技術(shù)調(diào)度系統(tǒng)為python、shell和ziphbase個(gè)集群當(dāng)中，保證腳本的安全性和可用性。任務(wù)執(zhí)行的時(shí)候調(diào)度會(huì)動(dòng)態(tài)地下載和更新腳本信息，保證每的準(zhǔn)確率和安全性。京東大數(shù)據(jù)的任務(wù)調(diào)度和管理已基于Kubernetes進(jìn)行了升級(jí)和改造。升級(jí)后可由Kubernetes實(shí)現(xiàn)資源的統(tǒng)一管理和分配，提和測(cè)試。資源監(jiān)控和運(yùn)維管理萬(wàn)臺(tái)規(guī)模的集群，資源監(jiān)控和運(yùn)維體系變得非常重要，京東大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了對(duì)集群資源的全方位監(jiān)控，并研發(fā)了自動(dòng)部署系統(tǒng)和相關(guān)的集群運(yùn)維規(guī)范，保障了集群的可靠運(yùn)行。統(tǒng)一監(jiān)控警信號(hào)并通知相關(guān)系統(tǒng)負(fù)責(zé)人。IM知模式。統(tǒng)一監(jiān)控系統(tǒng)綜合考慮功能和穩(wěn)定性，選擇了Prometheus。該系統(tǒng)是一個(gè)開(kāi)源的監(jiān)控報(bào)警工具集，我們通過(guò)對(duì)其進(jìn)行架構(gòu)和功能上的優(yōu)化，完成平臺(tái)全方位的監(jiān)控和告警功能。統(tǒng)一監(jiān)控系統(tǒng)的架構(gòu)如圖19所示。整個(gè)系統(tǒng)分為4個(gè)部分:信號(hào)采集、信號(hào)存儲(chǔ)、報(bào)警、信息展示。圖19：統(tǒng)一監(jiān)控平臺(tái)架構(gòu)信號(hào)采集PushGateway，由它傳遞給系統(tǒng)。信號(hào)存儲(chǔ)PrometheusOpenTSDB，這是全量數(shù)據(jù)，用于信息的展示和數(shù)據(jù)挖掘。報(bào)警PromQLAlertManager信息展示監(jiān)控平臺(tái)可以在Prometheus節(jié)點(diǎn)進(jìn)行簡(jiǎn)單的信息查詢和展示，也可以在Grafana進(jìn)行全面細(xì)致的展示。我們對(duì)于采集的信號(hào)進(jìn)行了分層，如圖20所示。信號(hào)分為5具體內(nèi)容如圖20所示。監(jiān)控的指標(biāo)大致包括延時(shí)、吞吐、錯(cuò)誤范，便于管理和維護(hù)。圖20：信號(hào)分層集群運(yùn)維京東大數(shù)據(jù)平臺(tái)通過(guò)自主研發(fā)服務(wù)器資產(chǎn)管理系統(tǒng)、自動(dòng)部40000應(yīng)用軟件的高效管理。服務(wù)器資產(chǎn)管理系統(tǒng)API致性及準(zhǔn)確性。自動(dòng)部署系統(tǒng)且針對(duì)集群各個(gè)組件研發(fā)了針對(duì)性的功能管理頁(yè)面。自動(dòng)部署系統(tǒng)通過(guò)整合流程管理和開(kāi)發(fā)自定義通用上線模塊，打通了統(tǒng)一服務(wù)器控制系統(tǒng)以及實(shí)現(xiàn)P2P+MD5傳輸校驗(yàn)、回調(diào)結(jié)果驗(yàn)證功能，完成了線上運(yùn)維的時(shí)效性、準(zhǔn)確性、安全性的規(guī)范操作。效率。京東大數(shù)據(jù)的數(shù)據(jù)管理策應(yīng)用。如圖21目標(biāo)。圖21：數(shù)據(jù)管理框架數(shù)據(jù)架構(gòu)設(shè)計(jì)數(shù)據(jù)主題象概念。據(jù)。22所示。圖22：數(shù)據(jù)主題域劃分?jǐn)?shù)據(jù)模型京東大數(shù)據(jù)平臺(tái)設(shè)計(jì)的數(shù)據(jù)模型層次如圖23所示，數(shù)據(jù)層次的說(shuō)明如表1所述。圖23：數(shù)據(jù)模型序號(hào)數(shù)據(jù)架構(gòu)層次簡(jiǎn)稱數(shù)據(jù)層次用途簡(jiǎn)述1數(shù)據(jù)緩沖層BDM源業(yè)務(wù)系統(tǒng)數(shù)據(jù)的快照，保存細(xì)節(jié)數(shù)據(jù)，按天保存2基礎(chǔ)數(shù)據(jù)層FDM按業(yè)務(wù)概念組織細(xì)節(jié)數(shù)據(jù)，并進(jìn)行名稱、代碼等標(biāo)準(zhǔn)化處理，同時(shí)對(duì)表進(jìn)行標(biāo)準(zhǔn)化處理。3通用數(shù)據(jù)層GDM根據(jù)京東核心業(yè)務(wù)價(jià)值鏈按照星型模型或雪花模型設(shè)計(jì)方式建設(shè)的最細(xì)業(yè)務(wù)粒度匯總層。在本層需要進(jìn)行度量與維度的標(biāo)準(zhǔn)化，保證度量數(shù)據(jù)的唯一性。4聚合數(shù)據(jù)層ADM根據(jù)不同的業(yè)務(wù)需求采用星型或雪花型模型設(shè)計(jì)方法構(gòu)建的數(shù)據(jù)匯總層5維度層DIM維度是對(duì)具體分析對(duì)象的分析角度，維度要具備豐富的屬性，歷史信息的可追溯性，對(duì)通用的維表要保持一致性。表1：數(shù)據(jù)模型的層次業(yè)務(wù)應(yīng)用的需求，提高數(shù)據(jù)的可用性。數(shù)據(jù)資產(chǎn)管理營(yíng)能力，提高數(shù)據(jù)質(zhì)量，更好地實(shí)現(xiàn)大數(shù)據(jù)賦能。數(shù)據(jù)資產(chǎn)管理從數(shù)據(jù)資產(chǎn)盤點(diǎn)出發(fā)，厘清數(shù)據(jù)之間的關(guān)系，為數(shù)據(jù)進(jìn)一步的應(yīng)用和挖掘奠定基礎(chǔ)。數(shù)據(jù)資產(chǎn)盤點(diǎn)如圖24所示，通過(guò)盤點(diǎn)將散落的數(shù)據(jù)源信息匯聚到一起，在數(shù)據(jù)圖24：數(shù)據(jù)資產(chǎn)地圖據(jù)的重復(fù)存儲(chǔ)和抓取，共同完善底層數(shù)據(jù)資源擴(kuò)充和共享。元數(shù)據(jù)管理數(shù)據(jù)分析師或BI分析師或BI自己的元數(shù)據(jù)管理平臺(tái)（tink，用于管理數(shù)據(jù)模型的一些基本BI處理業(yè)務(wù)的數(shù)據(jù)需求。模型搜索相關(guān)模型。模型的基本信息數(shù)據(jù)分析師或BI人員通常希望快速地了解指標(biāo)模型的名稱、模型的描述、模型的字段以及模型的使用方法。因此在元數(shù)據(jù)管理平臺(tái)上就需要將這些信息展示出來(lái)，方便分析師或者BI人員的使用。血緣關(guān)系一般數(shù)據(jù)分析師或者BI圖，數(shù)據(jù)分析師或BI游的使用情況，輕松了解數(shù)據(jù)的來(lái)龍去脈。相關(guān)調(diào)度任務(wù)目前京東數(shù)據(jù)倉(cāng)庫(kù)或集市上的模型基本都是通過(guò)調(diào)度任務(wù)詳細(xì)了解相關(guān)調(diào)度任務(wù)的情況則可以通過(guò)調(diào)度平臺(tái)直接查看。數(shù)據(jù)質(zhì)量管理結(jié)起來(lái)有以下幾種。數(shù)據(jù)創(chuàng)建產(chǎn)生值使用不當(dāng)和數(shù)據(jù)錄入的校驗(yàn)規(guī)則不當(dāng)?shù)?。?shù)據(jù)獲取產(chǎn)生時(shí)點(diǎn)不正確等等。數(shù)據(jù)傳遞產(chǎn)生數(shù)據(jù)傳遞不及時(shí)等。數(shù)據(jù)加工產(chǎn)生等。圍繞上述數(shù)據(jù)質(zhì)量產(chǎn)生的原因，結(jié)合京東信息系統(tǒng)建設(shè)的特點(diǎn)，京東大數(shù)據(jù)定義數(shù)據(jù)質(zhì)量好壞可以從以下幾個(gè)指標(biāo)來(lái)描述：及時(shí)性：數(shù)據(jù)平臺(tái)是否滿足業(yè)務(wù)應(yīng)用對(duì)數(shù)據(jù)的時(shí)間要求。份數(shù)據(jù)的記錄是否完整無(wú)缺。準(zhǔn)確性：獲取的每一份數(shù)據(jù)是否存在異?；蛘咤e(cuò)誤信息；數(shù)據(jù)平臺(tái)在數(shù)據(jù)的獲取、傳遞、加工過(guò)程中是否能保證數(shù)據(jù)的準(zhǔn)確。可用性：多維度、多渠道獲取的數(shù)據(jù)是否能夠易于理解并使用。京東大數(shù)據(jù)自研了數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)質(zhì)量的管理。主要功能如下：數(shù)據(jù)準(zhǔn)確性監(jiān)控周期，實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)確性的預(yù)警。數(shù)據(jù)及時(shí)性監(jiān)控將數(shù)據(jù)加工任務(wù)按照服務(wù)的業(yè)務(wù)線歸類，根據(jù)服務(wù)SLA設(shè)置完成時(shí)間的閾值。用戶可以隨時(shí)觀察任務(wù)運(yùn)行的狀態(tài)、時(shí)間等，數(shù)據(jù)完整性監(jiān)控根據(jù)定義的規(guī)則進(jìn)行告警。數(shù)據(jù)質(zhì)量事件當(dāng)發(fā)生數(shù)據(jù)質(zhì)量異常告警后，將生成一個(gè)數(shù)據(jù)質(zhì)量事件。該事件由數(shù)據(jù)運(yùn)維人員發(fā)起，及時(shí)查明異常原因并記錄在知識(shí)庫(kù)中。該事件的完成必須經(jīng)過(guò)上級(jí)負(fù)責(zé)人的審批。數(shù)據(jù)質(zhì)量分析報(bào)告用戶可根據(jù)需要查詢數(shù)據(jù)表的質(zhì)量運(yùn)行報(bào)告，包括原因、狀參考。除了在技術(shù)手段上進(jìn)行數(shù)據(jù)質(zhì)量管理外，在管理制度上我們?nèi)者M(jìn)行記錄及解決等。資產(chǎn)管理平臺(tái)25機(jī)制的管控，讓內(nèi)外部數(shù)據(jù)能匯聚融合、有序流通。圖25：數(shù)據(jù)資產(chǎn)管理平臺(tái)數(shù)據(jù)資產(chǎn)管理平臺(tái)的目標(biāo)，主要有兩個(gè)方面：第一是資源管理的角度。一方面通過(guò)合理的數(shù)據(jù)使用流程和據(jù)資源，實(shí)現(xiàn)全域數(shù)據(jù)資產(chǎn)的持續(xù)擴(kuò)充。第二是數(shù)據(jù)資產(chǎn)質(zhì)量提升的角度，通過(guò)數(shù)據(jù)資產(chǎn)管理來(lái)提高數(shù)據(jù)資產(chǎn)的質(zhì)量和數(shù)據(jù)服務(wù)質(zhì)量。SLA監(jiān)數(shù)據(jù)資產(chǎn)管理平臺(tái)的實(shí)現(xiàn)，能夠在數(shù)據(jù)生產(chǎn)系統(tǒng)和業(yè)務(wù)應(yīng)用到上述提到的目標(biāo)。統(tǒng)一指標(biāo)體系決策帶來(lái)挑戰(zhàn)。在統(tǒng)一的指標(biāo)口徑之上，為了便于數(shù)據(jù)消費(fèi)者系統(tǒng)化地共享API簽的共享。隨著數(shù)據(jù)統(tǒng)一口徑標(biāo)準(zhǔn)的推行，避免了各業(yè)務(wù)部門的重復(fù)建GDM層37.1620%，效果如圖26圖26：統(tǒng)一指標(biāo)推行后的效果數(shù)據(jù)安全管理面：敏感數(shù)據(jù)集市建設(shè)針對(duì)京東數(shù)以億計(jì)的用戶，京東大數(shù)據(jù)啟動(dòng)了敏感數(shù)據(jù)集市它的數(shù)據(jù)存儲(chǔ)進(jìn)行邏輯隔離。采用了國(guó)家認(rèn)證的密鑰算法，對(duì)用戶隱私信息進(jìn)行加密存儲(chǔ)，并實(shí)現(xiàn)每1萬(wàn)行記錄換一次密鑰的方法。用戶隱私信息在數(shù)據(jù)抽取時(shí)即被加密，保證隱私信息落地即密文。在用戶隱私數(shù)據(jù)使用上采取嚴(yán)格的審批機(jī)制，必須經(jīng)過(guò)用戶據(jù)。IP京東大數(shù)據(jù)平臺(tái)通過(guò)設(shè)立黑白名單機(jī)制限制非法IP訪問(wèn)集群?jiǎn)T工賬號(hào)綁定所有登錄大數(shù)據(jù)平臺(tái)的用戶，無(wú)論是使用數(shù)據(jù)工具還是通過(guò)操作命令和員工賬號(hào)，便于發(fā)生安全問(wèn)題時(shí)進(jìn)行追溯和查找。最小化授權(quán)策略大數(shù)據(jù)平臺(tái)權(quán)限系統(tǒng)提供了一個(gè)和HDFS原生權(quán)限相匹配適應(yīng)的授權(quán)模型管理訪問(wèn)策略,可以將用戶的授權(quán)細(xì)化到文件級(jí)數(shù)據(jù)導(dǎo)出統(tǒng)計(jì)針對(duì)所有從平臺(tái)導(dǎo)出的數(shù)據(jù)以及集市之間交換的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，制作分析報(bào)告，防范風(fēng)險(xiǎn)。全面的日志審計(jì)所有大數(shù)據(jù)平臺(tái)的日志都將保留并定期收集進(jìn)行審計(jì)。用戶保密協(xié)議所有使用大數(shù)據(jù)平臺(tái)的用戶必須和公司簽署數(shù)據(jù)保密協(xié)議才能被授權(quán)使用。數(shù)據(jù)服務(wù)管理京東大數(shù)據(jù)平臺(tái)為京東集團(tuán)的所有業(yè)務(wù)部門提供數(shù)據(jù)服務(wù)。6000SLA數(shù)據(jù)服務(wù)協(xié)議為了保證為京東所有的業(yè)務(wù)用戶提供高品質(zhì)的數(shù)據(jù)服務(wù)，我們采用SLA動(dòng)業(yè)務(wù)發(fā)展提供保障。在確定SLASLA的達(dá)成。數(shù)據(jù)集市服務(wù)SLA資源分配京東業(yè)務(wù)數(shù)據(jù)集市計(jì)算、存儲(chǔ)等資源由京東大數(shù)據(jù)統(tǒng)一分配集市由業(yè)務(wù)使用部門派專人負(fù)責(zé)和管理。資源隔離通過(guò)技術(shù)手段實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)集市的資源隔離，集市可以根了數(shù)據(jù)的全生命周期管控。SLA保障大數(shù)據(jù)保障部門與使用數(shù)據(jù)集市的業(yè)務(wù)部門間達(dá)成了標(biāo)準(zhǔn)服（SLA7*24*365集市健康的集市健康指導(dǎo)方案。數(shù)據(jù)開(kāi)發(fā)工具有利于形成統(tǒng)一的數(shù)據(jù)服務(wù)接口。數(shù)據(jù)平臺(tái)產(chǎn)品包括了數(shù)據(jù)開(kāi)發(fā)工具、數(shù)據(jù)可視化工具等。數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)開(kāi)發(fā)平臺(tái)，是基于京東大數(shù)據(jù)資源和計(jì)算資源打造的一支持腳本在線編寫(xiě)調(diào)試，具備全過(guò)程監(jiān)控機(jī)制集成文件版本管理，強(qiáng)化團(tuán)隊(duì)開(kāi)發(fā)功能依托于集成GIT的自動(dòng)化文件版本管理功能，實(shí)現(xiàn)腳本文件的提交、拉取、比對(duì)、合并等管理功能。強(qiáng)化團(tuán)隊(duì)開(kāi)發(fā)功能，達(dá)到腳本在團(tuán)隊(duì)間的零成本傳遞，低成本協(xié)同，最大化團(tuán)隊(duì)開(kāi)發(fā)效率，讓研發(fā)工程師、BI工程師、數(shù)據(jù)分析師等人群發(fā)揮各自長(zhǎng)處，最大化工作價(jià)值。數(shù)據(jù)結(jié)果可視化，實(shí)現(xiàn)所見(jiàn)即所得數(shù)據(jù)查詢·數(shù)據(jù)查詢整合Hive、Presto、Spark持用戶以SQL取數(shù)據(jù)的成本。戶操作，提升工作決策效率。JAMySQLOraclePrestoAPP析師，以及對(duì)數(shù)據(jù)可視化有快速實(shí)現(xiàn)需求的人群。用戶僅通過(guò)簡(jiǎn)單的拖拽即可實(shí)現(xiàn)各類主題報(bào)表的開(kāi)發(fā)。用戶可以將數(shù)據(jù)報(bào)表通過(guò)郵件、手機(jī)APP等渠道分享給其他數(shù)據(jù)使用者，實(shí)現(xiàn)數(shù)據(jù)價(jià)值可視化。京東指南針“京東指南針”是一個(gè)深度洞察數(shù)據(jù)的OLAP產(chǎn)品，可以分濾等操作?！熬〇|指南針”具有簡(jiǎn)單易用，數(shù)據(jù)分析過(guò)程所見(jiàn)所得等特深度洞察數(shù)據(jù)背后的故事。數(shù)據(jù)標(biāo)注系統(tǒng)人工智能算法需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，這些數(shù)據(jù)必須包含可被算法識(shí)別的數(shù)據(jù)特征標(biāo)簽，數(shù)據(jù)標(biāo)注即給相關(guān)應(yīng)用場(chǎng)景獲取的數(shù)據(jù)進(jìn)行算法需要的特征標(biāo)識(shí)，比如標(biāo)注人臉的位置、體態(tài)、動(dòng)作等。可見(jiàn)，高質(zhì)量的標(biāo)注數(shù)據(jù)決定了算法模型的效果。數(shù)據(jù)標(biāo)注的類型可分為：/標(biāo)簽：成人、女標(biāo)框標(biāo)注：機(jī)器視覺(jué)中的標(biāo)框標(biāo)注，就是框選要檢測(cè)的對(duì)象。一般標(biāo)注對(duì)象為圖像，主要應(yīng)用于人臉識(shí)別、物品識(shí)別等。區(qū)域標(biāo)注主要應(yīng)用于自動(dòng)駕駛等。描點(diǎn)標(biāo)注：一些對(duì)于特征要求細(xì)致的應(yīng)用中常常需要描點(diǎn)標(biāo)于人臉識(shí)別等。標(biāo)注的類型除了上面幾種常見(jiàn)類型，還有很多個(gè)性化的需求，根據(jù)不同的需求進(jìn)行不同的標(biāo)注。27要的工作任務(wù)是對(duì)不同來(lái)源的數(shù)據(jù)按照應(yīng)用場(chǎng)景不同進(jìn)行數(shù)據(jù)標(biāo)簽的加注。圖27：數(shù)據(jù)標(biāo)注平臺(tái)任務(wù)派單等模塊。數(shù)據(jù)采集 主要獲得標(biāo)注數(shù)據(jù)采集文本或者視頻語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)等。數(shù)據(jù)標(biāo)注服務(wù)塊。數(shù)據(jù)標(biāo)注管理集中管理數(shù)據(jù)標(biāo)注完成之后的標(biāo)注成果，核心任務(wù)交付和下一步質(zhì)量迭代，從標(biāo)注需求生命周期來(lái)管理數(shù)據(jù)使用。數(shù)據(jù)安全模塊 要解決數(shù)據(jù)交付過(guò)程中的安全問(wèn)題按相關(guān)的權(quán)限集中保護(hù)數(shù)據(jù)使用和加固數(shù)據(jù)環(huán)境。京東大數(shù)據(jù)的數(shù)據(jù)產(chǎn)品京東大數(shù)據(jù)的數(shù)據(jù)應(yīng)用體現(xiàn)在業(yè)務(wù)的各個(gè)環(huán)節(jié)，如采銷、搜京東商智京東商智是京東向第三方商家提供數(shù)據(jù)服務(wù)的產(chǎn)品。京東商PCAPPQM便于商家更加及時(shí)方便地操作。36036010080001服務(wù)。智能營(yíng)銷智能營(yíng)銷產(chǎn)品是一款面向客戶全生命周期的個(gè)性化營(yíng)銷工具，如圖28所示。智能營(yíng)銷產(chǎn)品通過(guò)分析和挖掘客戶的瀏覽、交易等數(shù)據(jù)，確定客戶所處的全生命周期階段，預(yù)測(cè)用戶對(duì)各種商品（在品類、sku等各種維度）的促銷響應(yīng)，基于預(yù)測(cè)結(jié)果構(gòu)建營(yíng)200%上。圖28：智能營(yíng)銷產(chǎn)品智能營(yíng)銷產(chǎn)品采用了大數(shù)據(jù)技術(shù)預(yù)測(cè)用戶流失、預(yù)測(cè)用戶上數(shù)據(jù)管家數(shù)據(jù)管家是專門為一線業(yè)務(wù)運(yùn)營(yíng)人員及管理層打造的一款提升運(yùn)營(yíng)效率和決策效率的數(shù)據(jù)化運(yùn)營(yíng)產(chǎn)品。方面覆蓋SKUSKU的關(guān)系以及人員到崗位的映射，以適應(yīng)人員的調(diào)整和變動(dòng)。數(shù)據(jù)管家支持業(yè)務(wù)人員設(shè)置個(gè)人業(yè)績(jī)目標(biāo)，每日銷售數(shù)據(jù)匹名下運(yùn)營(yíng)的SKU能，對(duì)于重要的SKU效管理。數(shù)據(jù)管家利用預(yù)測(cè)模型對(duì)重點(diǎn)指標(biāo)進(jìn)行預(yù)測(cè)，讓業(yè)務(wù)人員對(duì)為便于業(yè)務(wù)人員和管理層隨時(shí)隨地掌握數(shù)據(jù)，數(shù)據(jù)管家也提供移動(dòng)端的數(shù)據(jù)展示，為用戶提供更方便的使用方式。祖沖之零售行業(yè)的創(chuàng)新發(fā)展已經(jīng)進(jìn)入到了一個(gè)新的階段，線上零售祖沖之產(chǎn)品就是在這樣的背景下產(chǎn)生的，它的定位是通過(guò)線化、精細(xì)化的運(yùn)營(yíng)指導(dǎo)。如圖29從選址、開(kāi)店、引流、商品貨架規(guī)劃等全方位的指導(dǎo)。圖29：祖沖之?dāng)?shù)據(jù)維度和功能品牌商在拓展線下業(yè)務(wù)之前必然要關(guān)注行業(yè)的發(fā)展情況，比營(yíng)銷。商品貨架的陳列是用戶購(gòu)物轉(zhuǎn)化率的重要因素。祖沖之產(chǎn)品建議，并結(jié)合線上熱銷商品數(shù)據(jù)提供上新建議。結(jié)合京東強(qiáng)大的供應(yīng)鏈管理能力，祖沖之產(chǎn)品未來(lái)將嫁接線上供應(yīng)鏈服務(wù)能力到線下門店業(yè)務(wù)，包括銷售預(yù)測(cè)、庫(kù)存預(yù)警、京東大數(shù)據(jù)的應(yīng)用場(chǎng)景營(yíng)銷領(lǐng)域作為實(shí)體經(jīng)濟(jì)和數(shù)字經(jīng)濟(jì)深度融合的創(chuàng)新型企業(yè)，京東擁有大數(shù)據(jù)智能不僅實(shí)現(xiàn)了千人千面的用戶個(gè)性化推薦，同時(shí)在并挖掘精準(zhǔn)營(yíng)銷的機(jī)會(huì)，然后借助AI驅(qū)動(dòng)的智能營(yíng)銷工具進(jìn)行在智能廣告投放方面京東利用AI大大提升了廣告主的投放效率。而在數(shù)據(jù)開(kāi)放和智能數(shù)據(jù)分析方面，廣告主可以實(shí)現(xiàn)受眾的引入ISV物流領(lǐng)域隨著大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)和人工智能技術(shù)加快向物流方面起到積極的作用。在終端配送規(guī)劃階段，京東的大數(shù)據(jù)與人工智能通過(guò)全網(wǎng)干規(guī)劃，保障路區(qū)產(chǎn)能科學(xué)平衡。供應(yīng)鏈領(lǐng)域京東擁有中國(guó)最先進(jìn)的零售供應(yīng)鏈，借助自身極具價(jià)值的大存通過(guò)非常復(fù)雜的三級(jí)物流網(wǎng)絡(luò)管理，實(shí)現(xiàn)了530萬(wàn)個(gè)SKU的庫(kù)存周轉(zhuǎn)天數(shù)僅有30多天。京東目前500多個(gè)倉(cāng)庫(kù)的數(shù)百萬(wàn)種商品，已有將近60%的訂單通過(guò)人工智能技術(shù)實(shí)現(xiàn)了自動(dòng)管理。銷售預(yù)測(cè)與補(bǔ)貨：預(yù)知市場(chǎng)，保證現(xiàn)貨率供應(yīng)鏈管理最難突破的就是計(jì)劃管理。能否善用數(shù)據(jù)預(yù)測(cè)消SKU如果單純靠人工進(jìn)行SKU戰(zhàn)。電商企業(yè)的供應(yīng)鏈系統(tǒng)需要根據(jù)以往大量的用戶數(shù)據(jù)、銷售系統(tǒng)能夠在消費(fèi)者還沒(méi)有下單前就提前將商品從供應(yīng)商那里完成采購(gòu)，并第一時(shí)間調(diào)撥到離消費(fèi)者最近的倉(cāng)庫(kù)。庫(kù)存健康：優(yōu)化庫(kù)存，處理滯銷品京東的庫(kù)存健康系統(tǒng)每天通過(guò)大數(shù)據(jù)和AI技術(shù)驅(qū)動(dòng)庫(kù)存管理更加高效，零售更加智能。京東零售平臺(tái)借助大數(shù)據(jù)優(yōu)化庫(kù)存結(jié)構(gòu)和降低庫(kù)存成本，通升庫(kù)存周轉(zhuǎn)率為核心目標(biāo)的智能系統(tǒng)群。智能選品與定價(jià)：合理定價(jià)，收益最大化京東電商管理平臺(tái)自動(dòng)抓取全網(wǎng)的商品數(shù)據(jù)，以此監(jiān)控本平預(yù)期收益、價(jià)格的風(fēng)險(xiǎn)控制等強(qiáng)大功能。供應(yīng)商協(xié)同：深度整合，打通產(chǎn)業(yè)鏈大數(shù)據(jù)下的供應(yīng)商協(xié)同更加高效。電商平臺(tái)可與供應(yīng)商進(jìn)行產(chǎn)業(yè)鏈發(fā)展共同體，打通供應(yīng)鏈上下游。智能零售2017年可謂是零售行業(yè)變革的一年，大數(shù)據(jù)、人工智能和物京東之家、7fresh生鮮超市等無(wú)界零售新業(yè)態(tài)，這些零售模式創(chuàng)零售模式除了業(yè)態(tài)創(chuàng)新，還需要通過(guò)技術(shù)來(lái)實(shí)現(xiàn)零售運(yùn)營(yíng)和Take店、無(wú)人超市、京東之家、7fresh加油站、機(jī)場(chǎng)、酒店、購(gòu)物中心等各種應(yīng)用場(chǎng)景。金融業(yè)務(wù)創(chuàng)新京東數(shù)科充分利用京東集團(tuán)超3億活躍用戶的交易數(shù)據(jù)及幾十確保京東數(shù)字科技集團(tuán)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前融業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造有利條件。理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率。通過(guò)京東數(shù)科大數(shù)據(jù)的分析和挖掘，不僅完成了對(duì)金融業(yè)務(wù)體系的完備，也為未來(lái)的業(yè)務(wù)方向提供了有力的數(shù)據(jù)支撐。杠桿率并不高的現(xiàn)狀推出白條等互聯(lián)網(wǎng)金融產(chǎn)品中小企業(yè)融資京小貸和動(dòng)產(chǎn)產(chǎn)品私募股權(quán)融資生態(tài)圈業(yè)務(wù)等創(chuàng)業(yè)服務(wù)生態(tài)。結(jié)果變得更加有效。定價(jià)。京東數(shù)科的風(fēng)控體系不僅在自身產(chǎn)品和服務(wù)上得以應(yīng)用，更低成本提高效率。比如“京保貝2.0”收賬款。“京保貝2.0”應(yīng)鏈金融能力。通過(guò)新型大數(shù)據(jù)風(fēng)控以及流程優(yōu)化等方法銀行需要大量人力服務(wù)的業(yè)務(wù)轉(zhuǎn)變成無(wú)需人工審核的線上自動(dòng)融資的客戶貿(mào)易量增長(zhǎng)超過(guò)200%遠(yuǎn)低于業(yè)內(nèi)平均壞賬率水平。時(shí)尚創(chuàng)新隨著AI人工智能和大數(shù)據(jù)技術(shù)在時(shí)尚領(lǐng)域打造新的產(chǎn)品和服務(wù)形態(tài)。SKU圖片以及服飾標(biāo)簽數(shù)據(jù)，為服飾屬性標(biāo)注、而使智能算法能夠應(yīng)用于更加多元化的場(chǎng)景。京東的時(shí)尚技術(shù)不僅限于服裝零售行業(yè)的產(chǎn)業(yè)賦能，同時(shí)也之下，未來(lái)時(shí)尚設(shè)計(jì)會(huì)更加精準(zhǔn)。人工智能數(shù)據(jù)平臺(tái)從2014些成果轉(zhuǎn)化為實(shí)際的生產(chǎn)力運(yùn)用在京東的內(nèi)部場(chǎng)景中。在電商場(chǎng)景中，圖像作為連接用戶和商品信息媒介起到了非幫助京東優(yōu)化用戶體驗(yàn)，提升商家的經(jīng)營(yíng)效率。圖像搜索特征檢索模塊是指從特征庫(kù)中檢索特定的特征向量。在數(shù)據(jù)到目前為止，京東的圖像搜索技術(shù)已經(jīng)應(yīng)用在京東手機(jī)APP的拍照購(gòu)業(yè)務(wù)。圖像審核京東一直以來(lái)對(duì)于平臺(tái)上售賣的商品的圖像質(zhì)量都有非常嚴(yán)經(jīng)無(wú)法滿足要求。京東大數(shù)據(jù)在2015核解決方案。整個(gè)解決方案覆蓋了京東所有SKU的相關(guān)圖像數(shù)T+1SKUSKU防止商家漏填、多填、錯(cuò)填，提升依賴屬性數(shù)據(jù)的下游業(yè)務(wù)。片、血腥暴力圖片等。用logo等情況。文字識(shí)別京東的文字識(shí)別系統(tǒng)歷經(jīng)了三年的研發(fā)，到目前為止京東的6合規(guī)、用戶身份認(rèn)證等30個(gè)項(xiàng)目中，每天請(qǐng)求次數(shù)達(dá)上千萬(wàn)。京東的文字識(shí)別系統(tǒng)中的檢測(cè)模塊和識(shí)別模塊都采用了端到題。與其他的圖像類算法不同，文字識(shí)別服務(wù)采用了長(zhǎng)短記憶網(wǎng)及硬件、驅(qū)動(dòng)和軟件層面的優(yōu)化。人臉識(shí)別人臉識(shí)別被廣泛用于人臉門禁以及其他商業(yè)、安保設(shè)備的身APP95%（的人1:100top195%以上。我們還開(kāi)發(fā)了一套功能完備的SDK，別技術(shù)在新一代的智能零售終端如智能門店中能夠提升精準(zhǔn)銷戶引導(dǎo)等功能。京東大數(shù)據(jù)的合作生態(tài)數(shù)據(jù)的技術(shù)能力和數(shù)據(jù)價(jià)值。我們和Intel、Nvidia等公司展開(kāi)了廣泛的合作。京東大數(shù)據(jù)IntelSparkonKubernetes及其相Spark雙方的合作也有利于推動(dòng)開(kāi)源社區(qū)和整個(gè)行業(yè)在大數(shù)據(jù)技術(shù)領(lǐng)Intel我們同樣在產(chǎn)學(xué)研的合作上也做了很好的實(shí)踐。我們邀請(qǐng)清2017據(jù)技術(shù)的進(jìn)步。以云為基礎(chǔ)設(shè)施，大數(shù)據(jù)技術(shù)平臺(tái)可以用PaaS的商家和用戶提供了數(shù)據(jù)服務(wù)。大數(shù)據(jù)和IOT、AI等技術(shù)融合力，也可以為外部客戶提供領(lǐng)先的供應(yīng)鏈技術(shù)平臺(tái)。京東大數(shù)據(jù)期望能以技術(shù)和數(shù)據(jù)，為大數(shù)據(jù)行業(yè)的生態(tài)建設(shè)貢獻(xiàn)更多的力量。京東大數(shù)據(jù)的特點(diǎn)高可用和高性能YarnFederationHadoopYarn無(wú)法滿足規(guī)模擴(kuò)展的要求。京東大數(shù)據(jù)平臺(tái)部自研了YarnFederation技術(shù)，如圖30所示，解決目前開(kāi)源版本的Yarn帶來(lái)的性能瓶頸。通過(guò)YarnFederation技術(shù)打破了Hadoop分布式系HadoopHadoop圖30：京東YarnFederation技術(shù)架構(gòu)圖Kubernetes是Google開(kāi)源的容器集群管理系統(tǒng)。它構(gòu)建在Docker技術(shù)之上，為DockerKubernetes了廣泛的應(yīng)用。京東大數(shù)據(jù)平臺(tái)自研了“大數(shù)據(jù)虛擬化容器”技術(shù)，如圖31所示，打通了Hadoop與Kubernetes系統(tǒng)之間的技術(shù)壁壘，實(shí)現(xiàn)了Hadoop與Kubernetes系統(tǒng)混合部署與資源共享。京東大數(shù)據(jù)平臺(tái)的實(shí)時(shí)計(jì)算、Spark計(jì)算、HBase等核心數(shù)據(jù)服務(wù)可以同時(shí)運(yùn)行在Hadoop與Kubernetes系統(tǒng)上，并實(shí)現(xiàn)了資體性能。圖31：京東大數(shù)據(jù)虛擬化容器技術(shù)架構(gòu)圖VitualFileSystem一個(gè)HadoopIO之產(chǎn)生木桶效應(yīng)，造成集群的資源浪費(fèi)。通過(guò)對(duì)資源VitualFileSystem技術(shù)的研究，京東大數(shù)據(jù)平臺(tái)自CPU、IO、負(fù)載、磁盤容量、網(wǎng)絡(luò)等策略，降低了集群IOHadoop200%以上。一站式服務(wù)平臺(tái)京東大數(shù)據(jù)平臺(tái)是一站式的服務(wù)平臺(tái)，主要體現(xiàn)在：完整的數(shù)據(jù)鏈條送到客服的完整過(guò)程，具有京東最完整的數(shù)據(jù)鏈條。完善的技術(shù)體系京東大數(shù)據(jù)平臺(tái)建立了完善的技術(shù)體系。大數(shù)據(jù)平臺(tái)支持結(jié)環(huán)境。全面的平臺(tái)產(chǎn)品和服務(wù)的效率。大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)集市服務(wù)，基于SLA體驗(yàn)?？煽康陌踩Ｕ洗髷?shù)據(jù)平臺(tái)擁有業(yè)界領(lǐng)先數(shù)據(jù)保護(hù)和數(shù)據(jù)共享能力。平臺(tái)提供敏感數(shù)據(jù)保護(hù)及數(shù)據(jù)共享功能,同時(shí)對(duì)數(shù)據(jù)全生命周期進(jìn)行道加密,保證用戶使用過(guò)程中的數(shù)據(jù)安全,全方位無(wú)死角的防篡改、防盜用、防截取,為平臺(tái)內(nèi)部數(shù)據(jù)保駕護(hù)航。數(shù)據(jù)分級(jí)保護(hù)數(shù)據(jù)安全，創(chuàng)造面向數(shù)據(jù)的安全管理系統(tǒng)，如圖32所示。圖32：數(shù)據(jù)安全管控示意圖一級(jí)敏感數(shù)據(jù)使用物理環(huán)境完全隔離方式,嚴(yán)格控制數(shù)據(jù)訪問(wèn)與數(shù)據(jù)流動(dòng),數(shù)據(jù)審計(jì),最大限度保障數(shù)據(jù)安全。二級(jí)業(yè)務(wù)數(shù)據(jù)通過(guò)用戶的數(shù)據(jù)授權(quán)與審計(jì)方式,控制數(shù)據(jù)的流向,防止數(shù)據(jù)私下拷貝、下載等操作,實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)血緣關(guān)系,標(biāo)記數(shù)據(jù)最終流向。三級(jí)共享數(shù)據(jù)針對(duì)用戶間共享數(shù)據(jù),大數(shù)據(jù)平臺(tái)會(huì)向數(shù)據(jù)生產(chǎn)方提供數(shù)據(jù)現(xiàn)有共享使用情況,同時(shí)支持共享數(shù)據(jù)的靈活授權(quán)功能,數(shù)據(jù)生產(chǎn)方能夠更安全、更方便地進(jìn)行數(shù)據(jù)分享。用戶權(quán)限與用戶認(rèn)證大數(shù)據(jù)平臺(tái)通過(guò)用戶權(quán)限系統(tǒng)管控?cái)?shù)據(jù)共享與數(shù)據(jù)私密性,授權(quán)可到文件級(jí)，滿足最小化授權(quán)要求,同時(shí)保證用戶信息不可偽造,進(jìn)而保障用戶數(shù)據(jù)安全，圖33展示了用戶權(quán)限系統(tǒng)的架構(gòu)。圖33：權(quán)限系統(tǒng)架構(gòu)圖傳輸通道加密34RPC圖34：傳輸通道加密示意圖京東大數(shù)據(jù)展望融合統(tǒng)一大數(shù)據(jù)技術(shù)從概念提出，經(jīng)過(guò)了20多年的發(fā)展，特別是在ApacheHadoop勢(shì)的一些見(jiàn)解。數(shù)據(jù)源的融合隨著大數(shù)據(jù)技術(shù)的發(fā)展，越來(lái)越多的數(shù)據(jù)類型被納入了其處（用戶、訂單數(shù)據(jù)、來(lái)自服務(wù)的日志數(shù)據(jù)（如點(diǎn)擊流，到IoT（InternetofThings，物聯(lián)網(wǎng))設(shè)備產(chǎn)生的海量數(shù)據(jù)。這些數(shù)據(jù)在不同維度具有不同的特性：涵蓋了結(jié)構(gòu)化（如關(guān)系數(shù)據(jù)、半結(jié)構(gòu)化（如web非結(jié)構(gòu)化(如語(yǔ)音、圖片)數(shù)據(jù)。讀數(shù)、大數(shù)據(jù)處理的結(jié)果等。式方式接入。用戶數(shù)據(jù)。(datalake據(jù)不一致。數(shù)據(jù)的融合，尤其是IoT數(shù)據(jù)的加入，也對(duì)大數(shù)據(jù)技術(shù)提出了相應(yīng)的需求：（比如EB級(jí)別同時(shí)不同來(lái)源、屬性的數(shù)據(jù)需要不同級(jí)別的安全保護(hù)。如IoT數(shù)據(jù)可以通過(guò)一些標(biāo)準(zhǔn)的協(xié)議如MQTT式實(shí)時(shí)處理。API身需要支持高效查詢，并能夠隨著數(shù)據(jù)的變化而進(jìn)行更新。API提供一個(gè)穩(wěn)定的查詢接口。大數(shù)據(jù)技術(shù)發(fā)展到現(xiàn)在，無(wú)論是開(kāi)源方案還是專有的閉源方案，都衍生出了很多的產(chǎn)品。這里我們的討論著眼于Apache開(kāi)源生態(tài)圈的技術(shù)方案。不可否認(rèn)，在大數(shù)據(jù)處理方面，ApacheHadoop及其相關(guān)的開(kāi)源項(xiàng)目，正在成為業(yè)界的標(biāo)桿。數(shù)據(jù)處理技術(shù)的融合可以從不同的層次來(lái)闡述：從分析引擎的角度，最初的HadoopMapRe