大數(shù)據(jù)技術(shù)將是企業(yè)未來的核心競爭力

1、1只有司機不敢大意馬虎，依舊提起精神高度警惕向前小心駕駛著。民間搞藝術(shù)的人很多，有的靠藝術(shù)可以生活，可以成名，但不一定所有民間搞藝術(shù)的，靠自己手中的藝術(shù)可以生活和成名?！皠F不演戲就是垮臺！”一次談話，我覺得老劉不僅熱忱，也是個很有事業(yè)心的好人。實名認證 https:/ 2020年是繼往開來、里程碑式的一年，在這個十三五收官和十四五開啟之年，我們國家經(jīng)受住了新冠疫情的考驗。其中，少不了大數(shù)據(jù)對城市疫情防控工作做出的有力支撐和保障。年初，全國各地紛紛上線了健康碼，利用大數(shù)據(jù)技術(shù)第一時間判斷個人的健康狀況，發(fā)現(xiàn)疫情傳染源頭及追溯病情高發(fā)傳染地點，幫助政府部門對各地進行精細化的疫情防控。最近，如上海

2、的隨申碼還上線了“親屬隨申碼”的功能，幫助老人和小孩申領(lǐng)健康碼，幫助課件課件PPT3部分老人跨越數(shù)字鴻溝。在疫情常態(tài)化的今天，健康碼已不再只負責(zé)健康狀態(tài)的查詢和結(jié)果展示，在公共出行、醫(yī)保、借書等各類公共服務(wù)和辦事通道方面已經(jīng)開始拓展及延伸。2020年初，國家發(fā)改委多個部委提出了“新基建”的概念。中國在2001年加入WTO之后，其經(jīng)濟增長主要來自投資、出口、消費，到2010年，中國國際貿(mào)易占到世界GDP的60%左右。隨著中美之間進入戰(zhàn)略競爭階段，意味著我們需要有更多的經(jīng)課件課件PPT4濟，意味著我們要專注于國內(nèi)經(jīng)濟的內(nèi)循環(huán)。在這個百年未有之大變局的情況下，全國各地政府積極加大新基建的建設(shè)，努力推

3、動整個經(jīng)濟進入下一步發(fā)展周期。關(guān)于新基建建設(shè)，一方面是信息基礎(chǔ)設(shè)施建設(shè)，包括機房、大數(shù)據(jù)軟件、云等等；另一方面是融合基礎(chǔ)設(shè)施建設(shè)，把新一代的新技術(shù)融合到各個行業(yè)當中去，加速他們的轉(zhuǎn)型；此外還有創(chuàng)新基礎(chǔ)設(shè)施，主要是一些基礎(chǔ)的創(chuàng)新，偏重在核心技術(shù)方面的研究。我們可以看到，大數(shù)據(jù)技課件課件PPT5術(shù)實際上在各個行業(yè)當中都在不斷融合，在新基建處于核心位置，加速各行業(yè)和企業(yè)的數(shù)字化轉(zhuǎn)型。通過使用大數(shù)據(jù)技術(shù)、建設(shè)大數(shù)據(jù)平臺，政府、交通、能源、制造等各行業(yè)均實現(xiàn)了數(shù)據(jù)的沉淀和匯集，挖掘了數(shù)據(jù)的潛在價值，最終使用大數(shù)據(jù)技術(shù)提高了自身的核心競爭力，實現(xiàn)了降本增效。展望2021年，我認為大數(shù)據(jù)行業(yè)將會迎來三大趨勢

4、。趨勢一：多模型的大數(shù)據(jù)平臺第一個趨勢是隨著大數(shù)據(jù)技術(shù)的課件課件PPT6演變，未來的大數(shù)據(jù)平臺將需要具備多模型的特性。過去處理數(shù)據(jù)使用的是單機的關(guān)系型數(shù)據(jù)庫，隨著數(shù)據(jù)量的變大，大概在11年、12年的時候混合架構(gòu)被提出，因為單個關(guān)系數(shù)據(jù)庫已經(jīng)無法處理日益增大的數(shù)據(jù)，就需要單機的關(guān)系數(shù)據(jù)庫加一個MPP的架構(gòu)，再加一個Hadoop的架構(gòu)。Hadoop用來做百TP以上，MPP用來做幾至十幾TB的數(shù)據(jù)集，小數(shù)量放在關(guān)系型數(shù)據(jù)庫或內(nèi)存數(shù)據(jù)庫中。這種架構(gòu)被稱為混合架構(gòu)，也被稱為第一課件課件PPT7代，它使用的還是用傳統(tǒng)技術(shù)的拼接。到了大概09年之后，大家認為應(yīng)該由一個引擎來處理所有的數(shù)據(jù)，不應(yīng)該用混合架構(gòu)。

5、09年到15年這六年的時間，大家努力的目標就是用一個SQL引擎來處理不同的數(shù)據(jù)，用一個數(shù)據(jù)庫來替代以前的多個混合架構(gòu)的、不同的關(guān)系型數(shù)據(jù)庫。這個我們稱為第二階段，這個階段我們也提出一站式大數(shù)據(jù)平臺的概念，我們剛剛創(chuàng)業(yè)的時候就提了這個理念，需要一個SQL引擎來解決不同數(shù)據(jù)量的數(shù)課件課件PPT8據(jù)問題，而且在每個數(shù)據(jù)量級上面效率都很高，比傳統(tǒng)數(shù)據(jù)庫都要快，甚至快一個數(shù)量級。這個過程大概在15年塵埃落定，大家已經(jīng)認識到有單一引擎可以處理這個問題了，可以解決并替代混合架構(gòu)了。當然今天國內(nèi)還有很多客戶沒有采用一站式架構(gòu)的，不是星環(huán)的客戶大部分都采用混合架構(gòu)。到了第三階段我們又看到，除了關(guān)系型數(shù)據(jù)、結(jié)構(gòu)化

6、數(shù)據(jù)處理以外，還有很多非結(jié)構(gòu)化數(shù)據(jù)，像圖數(shù)據(jù)、文檔數(shù)據(jù)、自然語言、文本。過去大家課件課件PPT9采用的是多種數(shù)據(jù)庫技術(shù)，有用Neo4j做圖數(shù)據(jù)庫的，也有用Elastic做搜索引擎的，還有用MongoDB做文檔數(shù)據(jù)庫的，用Hadoop做文件存儲的，用MPP來做機構(gòu)化數(shù)據(jù)處理的，這種就是很多種不同數(shù)據(jù)庫組合?，F(xiàn)在一個明顯的趨勢，是能不能用一個平臺來處理多種類型的數(shù)據(jù)，特別當大數(shù)據(jù)應(yīng)用到多個行業(yè)中去的時候。有傳感器數(shù)據(jù)，有影像數(shù)據(jù)，也有結(jié)構(gòu)化的數(shù)據(jù)，在醫(yī)療行業(yè)更是如此，數(shù)據(jù)類型更多?，F(xiàn)課件課件PPT10在一個新的趨勢，是用一個統(tǒng)一的大數(shù)據(jù)平臺，有核心的存儲平臺，有統(tǒng)一的計算引擎，有統(tǒng)一的接口。但它的

7、存儲模式是不一樣的，可以支持文本，也可以支持結(jié)構(gòu)化，也可以支持對象存儲。這樣可以極大的簡化大數(shù)據(jù)平臺本身的使用、運維，還有應(yīng)用的開發(fā)，能夠加速這個技術(shù)在各個行業(yè)中的應(yīng)用，這個是比較明顯的趨勢。我們當時在2017年提出一個理念，用一個平臺能夠存儲不同數(shù)據(jù)形態(tài)、不同數(shù)據(jù)模型，但上面計算引擎和SQL引擎接口課件課件PPT11都是一樣的，這樣極大簡化開發(fā)的難度，同時也能夠跨多種數(shù)據(jù)形態(tài)進行互相訪問?，F(xiàn)在不難看出這是一個比較明顯的趨勢，不管是我們星環(huán)還是國外的數(shù)據(jù)庫軟件公司都在往這個方向去努力，希望用一個平臺處理不同類型的數(shù)據(jù)。趨勢二：聯(lián)邦學(xué)習(xí)技術(shù)第二大趨勢是聯(lián)邦學(xué)習(xí)的技術(shù)。數(shù)據(jù)過去是分散在不同地方的，

8、放在不同的數(shù)據(jù)中心和不同的國家的，因為各個國家都有一些數(shù)據(jù)保護條例，很難把數(shù)據(jù)拿出來。另一類是有課件課件PPT12些客戶的數(shù)據(jù)量太大，沒辦法放在一個數(shù)據(jù)中心，可能需要放在多個城市、多個地方。還有一種情況是不同的企業(yè)之間要進行數(shù)據(jù)共享，數(shù)據(jù)交換，但是因為數(shù)據(jù)的隱私，網(wǎng)絡(luò)安全法，無法把原始數(shù)據(jù)直接給別人，這也是催生聯(lián)邦學(xué)習(xí)的一個背景原因。聯(lián)邦學(xué)習(xí)的概念是把機器學(xué)習(xí)的算法分發(fā)到不同的數(shù)據(jù)中心去，讓算法在不同數(shù)據(jù)中心運算，但原始數(shù)據(jù)不會在網(wǎng)絡(luò)上傳輸，確保用戶隱私不會泄露出去，但能返回到需要的結(jié)果。今天聯(lián)邦課件課件PPT13學(xué)習(xí)已經(jīng)演變到細分的幾個類別。有橫向聯(lián)邦學(xué)習(xí)，在特征趨同的情況夏對不同樣本進行聯(lián)

9、合互補，用更大的樣本數(shù)據(jù)提升現(xiàn)有模型的精度。有縱向聯(lián)邦學(xué)習(xí)，比如同一個人，在樣本趨同的情況下對不同特征進行聯(lián)合互補，用更多的特征數(shù)據(jù)補全對某一客戶樣本的畫像。也有遷移聯(lián)邦學(xué)習(xí)，一類樣本上面統(tǒng)一的模型可以遷移到另外一批上面。但是也有一些不同企業(yè)的數(shù)據(jù)，他們之間可能是互相影響的，這種情況下就需要用個性聯(lián)邦學(xué)習(xí)來做統(tǒng)一的分析課件課件PPT14。有了這些技術(shù)的進步，數(shù)據(jù)的共享和交換變成可能，以前大家如果要把數(shù)據(jù)進行實際交換，很可能會觸犯一些法律的底線，但是使用聯(lián)邦學(xué)習(xí)方案可以做到數(shù)據(jù)不出戶，仍然能達到統(tǒng)一分析的結(jié)果。在當今這個大家都把數(shù)據(jù)作為一個生產(chǎn)要素來實現(xiàn)流通交換的時代，聯(lián)邦學(xué)習(xí)被認為是一個可行的

10、技術(shù)路徑。趨勢三：智能化的大數(shù)據(jù)技術(shù)第三個趨勢是AI的智能化技術(shù)。過去大數(shù)據(jù)分析主要被稱為計算智能，通課件課件PPT15過分布式計算實現(xiàn)大規(guī)模的數(shù)據(jù)統(tǒng)一分析，這也是AI發(fā)展的第一個階段。早先在06年以前的時候，大家是用分布式計算來解決機器學(xué)習(xí)效率問題，典型的比如Google的廣告系統(tǒng)就是用分布計算來做機器學(xué)習(xí)的。這塊主要的研究重點是用大量的機器組成一個超級計算機來做機器學(xué)習(xí)算法的分布式化，提升它的性能和精度，這個階段被稱為計算智能的階段。09年以后，深度學(xué)習(xí)算法被發(fā)明出來了，這個算法在12年做人臉識別和課件課件PPT16圖象識別時打敗以往所有的算法。2009年也稱之為機器學(xué)習(xí)的元年，從這一年開

11、始，我們把AI作為感知智能階段。一個很明顯的特點是，有多少人工就有多少智能。因為感知智能需要大量的樣本去進行訓(xùn)練，整個神經(jīng)網(wǎng)絡(luò)是一個黑盒子，需要大量的數(shù)據(jù)給它、教它，它才能訓(xùn)練出結(jié)果。一個識別算法要達到99.99%時，可能需要100萬張樣本。這個量是非常大的，是一個巨大的體力活。我們認為這個階段中國人工智能應(yīng)該會世界領(lǐng)先的，課件課件PPT17因為中國的勞動力優(yōu)勢，使得算法能夠領(lǐng)先于美國，事實也是如此。到第三階段，大家在研究機器能不能不用喂樣本就可以自主學(xué)習(xí)，這也被稱為強化學(xué)習(xí)。還有一部分叫遷移學(xué)習(xí)，運用已有的知識來學(xué)習(xí)新的知識，這樣就使得勞動力優(yōu)勢喪失了，算法自動進行進化，這個階段被稱為認知智

12、能階段。除了自己學(xué)習(xí)以外，也過度到知識推理階段，用知識圖譜來做智能的問答，機器更加智能化了。這塊也是現(xiàn)在正在研究的方向，我們稱之為人課件課件PPT18工智能第三個階段，即認知智能，也叫通用智能。今天我們進一步認為過了認知智能階段，用推理技術(shù)，來構(gòu)建知識圖譜，在知識圖譜上推理，發(fā)現(xiàn)更多新的知識?，F(xiàn)在也有不少的金融機構(gòu)開始使用圖數(shù)據(jù)庫和知識圖譜。圖數(shù)據(jù)庫主要是用來做實時的反欺詐，進行快速查詢，然后進行風(fēng)控。知識圖譜主要用來做企業(yè)風(fēng)險分析，把企業(yè)相關(guān)信息全部集中在一起。過去被看作是相對靜態(tài)的圖譜今天經(jīng)常被認為是動態(tài)的，它隨著時間在變化，比課件課件PPT19如發(fā)生一個突發(fā)事件時，這個事件會產(chǎn)生什么影響

13、，風(fēng)險會如何擴散，我們需要一個動態(tài)的知識圖譜來構(gòu)建、描述，能夠進行推測和推理。同時，我們增加了時序分析、地理空間分析，還有3D的展現(xiàn)，讓圖的操作更加簡便。從以前用圖來做異常檢測、反欺詐，到后來用圖來查詢風(fēng)險傳播，來判斷一個事件的影響，到現(xiàn)在我們把圖計算和深度學(xué)習(xí)結(jié)合起來，在上面進行大規(guī)模的圖分析，在前端用自然語言處理構(gòu)建一個圖。目前知識圖譜已經(jīng)在金融、國課件課件PPT20防工業(yè)、制造等多個行業(yè)開始得到使用?？偟貋碚f，多模型、云原生、聯(lián)邦學(xué)習(xí)、智能化等技術(shù)都將助力大數(shù)據(jù)不斷發(fā)展和革新。而現(xiàn)如今，數(shù)據(jù)作為生產(chǎn)要素、企業(yè)的重要資產(chǎn)和進步的源動力，被提升到國家戰(zhàn)略的高度。未來，相信大數(shù)據(jù)技術(shù)將持續(xù)助力各行各業(yè)數(shù)字化轉(zhuǎn)型，成為企業(yè)的核心競爭力。課件課件PPT資料寶袋資料寶袋 張志和張志和唐代詞人。字子同,初名龜齡,婺州金華(今屬浙江)人。年十六游太學(xué),舉明經(jīng)。肅宗時待詔翰林,貶南浦尉。后隱居江湖,自號“煙波釣徒”。與顏真卿等為友。善歌詞,能書畫、擊鼓、吹笛。作品多寫隱居時的閑散生活。其詞今存漁父五首,描寫江南水鄉(xiāng)風(fēng)光,漁父生活,鮮明生動,為早期文人詞中著名之作。另有玄真子。21完美課件課件課件PPT西塞山西塞山一說在湖州西郊弁(bin)南鄉(xiāng)樊漾湖村,此據(jù)大清一統(tǒng)志所載:“西塞山,在烏程縣西南25里,有桃花塢,下有凡常湖(即樊漾湖)?！比缃裆角拔鬈?/p>