《大數(shù)據(jù)通識(shí)教程》 課件 第13、14章 數(shù)據(jù)科學(xué)與職業(yè)技能、大數(shù)據(jù)的未來

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識(shí)教程第13章楊武劍周蘇主編數(shù)據(jù)科學(xué)與職業(yè)技能01計(jì)算思維02數(shù)據(jù)工程師的社會(huì)責(zé)任03數(shù)據(jù)科學(xué)與職業(yè)技能目錄/CONTENTSPART01計(jì)算思維所謂數(shù)據(jù)素養(yǎng)，是指具備數(shù)據(jù)意識(shí)和數(shù)據(jù)敏感性，能夠有效且恰當(dāng)?shù)孬@取、分析、處理、利用和展現(xiàn)數(shù)據(jù)，它是對(duì)統(tǒng)計(jì)素養(yǎng)、媒介素養(yǎng)和信息素養(yǎng)的一種延伸和擴(kuò)展?？梢詮奈鍌€(gè)方面的維度來思考數(shù)據(jù)素養(yǎng)，即對(duì)數(shù)據(jù)的敏感性；數(shù)據(jù)的收集能力；數(shù)據(jù)的分析、處理能力；利用數(shù)據(jù)進(jìn)行決策的能力；對(duì)數(shù)據(jù)的批判性思維。13.1計(jì)算思維計(jì)算思維是運(yùn)用計(jì)算機(jī)科學(xué)的基礎(chǔ)概念進(jìn)行問題求解、系統(tǒng)設(shè)計(jì)、以及人類行為理解等涵蓋計(jì)算機(jī)科學(xué)之廣度的一系列思維活動(dòng)。13.1.1計(jì)算思維的概念為了讓人們更易于理解，可以將計(jì)算思維進(jìn)一步定義為：通過約簡(jiǎn)、嵌入、轉(zhuǎn)化和仿真等方法，把一個(gè)看來困難的問題重新闡釋成一個(gè)我們知道問題怎樣解決的方法；是一種遞歸思維、并行處理，把代碼譯成數(shù)據(jù)又能把數(shù)據(jù)譯成代碼的方法，是一種多維分析推廣的類型檢查方法；是一種采用抽象和分解來控制龐雜的任務(wù)或進(jìn)行巨大復(fù)雜系統(tǒng)設(shè)計(jì)的方法，是基于關(guān)注分離的方法，即在系統(tǒng)中為達(dá)到目的而對(duì)軟件元素進(jìn)行劃分與對(duì)比，通過適當(dāng)?shù)年P(guān)注分離，將復(fù)雜的東西變成可管理的。13.1.1計(jì)算思維的概念計(jì)算思維也是一種選擇合適的方式去陳述一個(gè)問題，或?qū)σ粋€(gè)問題的相關(guān)方面建模使其易于處理的思維方法；是按照預(yù)防、保護(hù)及通過冗余、容錯(cuò)、糾錯(cuò)的方式，并從最壞情況進(jìn)行系統(tǒng)恢復(fù)的一種思維方法；是利用啟發(fā)式推理尋求解答，也即在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度的思維方法；是利用海量數(shù)據(jù)來加快計(jì)算，在時(shí)間和空間之間，在處理能力和存儲(chǔ)容量之間進(jìn)行折衷的思維方法。13.1.1計(jì)算思維的概念計(jì)算思維吸取了問題解決所采用的一般數(shù)學(xué)思維方法，現(xiàn)實(shí)世界中巨大復(fù)雜系統(tǒng)的設(shè)計(jì)與評(píng)估的一般工程思維方法，以及復(fù)雜性、智能、心理、人類行為的理解等的一般科學(xué)思維方法。計(jì)算思維建立在計(jì)算過程的能力和限制之上。計(jì)算方法和模型使我們敢于去處理那些原本無法由個(gè)人獨(dú)立完成的問題求解和系統(tǒng)設(shè)計(jì)。計(jì)算思維直面機(jī)器智能的不解之謎：什么人類比計(jì)算機(jī)做得好？什么計(jì)算機(jī)比人類做得好？最基本的問題是：什么是可計(jì)算的？13.1.1計(jì)算思維的概念計(jì)算思維最根本的內(nèi)容，即其本質(zhì)是抽象和自動(dòng)化。計(jì)算思維中的抽象完全超越物理的時(shí)空觀，并完全用符號(hào)來表示，其中，數(shù)字抽象只是一類特例。與數(shù)學(xué)和物理科學(xué)相比，計(jì)算思維中的抽象顯得更為豐富，也更為復(fù)雜。數(shù)學(xué)抽象的最大特點(diǎn)是拋開現(xiàn)實(shí)事物的物理、化學(xué)和生物學(xué)等特性，而僅保留其量的關(guān)系和空間的形式，而計(jì)算思維中的抽象卻不僅僅如此。13.1.1計(jì)算思維的概念計(jì)算思維是每個(gè)人的基本技能，在培養(yǎng)學(xué)生解析能力時(shí)，不僅要掌握閱讀、寫作和算術(shù)（Reading，wRiting，andaRithmetic——3R），還要學(xué)會(huì)計(jì)算思維。正如印刷出版促進(jìn)了3R的普及，計(jì)算和計(jì)算機(jī)也以類似的正反饋促進(jìn)了計(jì)算思維的傳播。

圖13-3計(jì)算之樹：計(jì)算思維教育空間13.1.2計(jì)算思維的作用當(dāng)我們必須求解一個(gè)特定問題時(shí)，首先會(huì)問：解決這個(gè)問題有多么困難？怎樣才是最佳的解決方法？計(jì)算機(jī)科學(xué)根據(jù)堅(jiān)實(shí)的理論基礎(chǔ)來準(zhǔn)確地回答這些問題。表述問題的難度就是工具的基本能力，必須考慮的因素包括機(jī)器的指令系統(tǒng)、資源約束和操作環(huán)境。為了有效地求解一個(gè)問題，我們可能要進(jìn)一步問：一個(gè)近似解是否就夠了，是否可以利用一下隨機(jī)化，以及是否允許誤報(bào)和漏報(bào)。計(jì)算思維就是通過約簡(jiǎn)、嵌入、轉(zhuǎn)化和仿真等方法，把一個(gè)看來困難的問題重新闡釋成一個(gè)我們知道怎樣解決的問題。13.1.2計(jì)算思維的作用計(jì)算思維是一種遞歸思維，它是并行處理，它把代碼譯成數(shù)據(jù)又把數(shù)據(jù)譯成代碼。它是由廣義量綱分析進(jìn)行的類型檢查。對(duì)于別名或賦予人與物多個(gè)名字的做法，它既知道其益處又了解其害處。對(duì)于間接尋址和程序調(diào)用的方法，它既知道其威力又了解其代價(jià)。它評(píng)價(jià)一個(gè)程序時(shí)，不僅僅根據(jù)其準(zhǔn)確性和效率，還有美學(xué)的考量，而對(duì)于系統(tǒng)的設(shè)計(jì)，還考慮簡(jiǎn)潔和優(yōu)雅。13.1.2計(jì)算思維的作用計(jì)算思維通過抽象和分解來迎接龐雜的任務(wù)或者設(shè)計(jì)巨大復(fù)雜的系統(tǒng)。它是關(guān)注的分離，它選擇合適的方式去陳述一個(gè)問題，或者是選擇合適的方式對(duì)一個(gè)問題的相關(guān)方面建模使其易于處理。它是利用不變量簡(jiǎn)明扼要且表述性地刻畫系統(tǒng)的行為。它使我們?cè)诓槐乩斫饷恳粋€(gè)細(xì)節(jié)的情況下就能夠安全地使用、調(diào)整和影響一個(gè)大型復(fù)雜系統(tǒng)的信息。它就是為預(yù)期的未來應(yīng)用而進(jìn)行的預(yù)取和緩存。13.1.2計(jì)算思維的作用計(jì)算思維是按照預(yù)防、保護(hù)及通過冗余、容錯(cuò)、糾錯(cuò)的方式從最壞情形恢復(fù)的一種思維。它稱堵塞為“死鎖”，稱約定為“界面”。計(jì)算思維就是學(xué)習(xí)在同步相互會(huì)合時(shí)如何避免“競(jìng)爭(zhēng)條件”（亦稱“競(jìng)態(tài)條件”）的情形。計(jì)算思維利用啟發(fā)式推理來尋求解答，就是在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度。它就是搜索、搜索、再搜索，結(jié)果是一系列的網(wǎng)頁，一個(gè)贏得游戲的策略，或者一個(gè)反例。計(jì)算思維利用海量數(shù)據(jù)來加快計(jì)算，在時(shí)間和空間之間，在處理能力和存儲(chǔ)容量之間進(jìn)行權(quán)衡。13.1.2計(jì)算思維的作用計(jì)算思維將滲透到我們每個(gè)人的生活之中，到那時(shí)，諸如算法和前提條件這些詞匯將成為每個(gè)人日常語言的一部分，對(duì)“非確定論”和“垃圾收集”這些詞的理解會(huì)和計(jì)算機(jī)科學(xué)里的含義驅(qū)近，而樹已常常被倒過來畫了。我們已經(jīng)見證了計(jì)算思維在其他學(xué)科中的影響。例如，機(jī)器學(xué)習(xí)改變了統(tǒng)計(jì)學(xué)。就數(shù)學(xué)尺度和維數(shù)而言，統(tǒng)計(jì)學(xué)習(xí)用于各類問題的規(guī)模僅在幾年前還是不可想象的。各種組織的統(tǒng)計(jì)部門都聘請(qǐng)了計(jì)算機(jī)科學(xué)家。計(jì)算機(jī)院系正在與統(tǒng)計(jì)學(xué)系聯(lián)姻。13.1.2計(jì)算思維的作用計(jì)算機(jī)科學(xué)家們對(duì)生物科學(xué)越來越感興趣，因?yàn)樗麄儓?jiān)信生物學(xué)家能夠從計(jì)算思維中獲益。計(jì)算機(jī)科學(xué)對(duì)生物學(xué)的貢獻(xiàn)決不限于其能夠在海量序列數(shù)據(jù)中搜索尋找模式規(guī)律的本領(lǐng)。最終希望是數(shù)據(jù)結(jié)構(gòu)和算法（我們自身的計(jì)算抽象和方法）能夠以其體現(xiàn)自身功能的方式來表示蛋白質(zhì)的結(jié)構(gòu)。計(jì)算生物學(xué)正在改變著生物學(xué)家的思考方式。類似地，計(jì)算博弈理論正改變著經(jīng)濟(jì)學(xué)家的思考方式，納米計(jì)算改變著化學(xué)家的思考方式，量子計(jì)算改變著物理學(xué)家的思考方式。13.1.2計(jì)算思維的作用這種思維將成為每個(gè)人的技能組合成分，而不僅僅限于科學(xué)家。普適計(jì)算之于今天就如計(jì)算思維之于明天。普適計(jì)算是已成為今日現(xiàn)實(shí)的昨日之夢(mèng)，而計(jì)算思維就是明日現(xiàn)實(shí)。13.1.2計(jì)算思維的作用計(jì)算思維有以下幾個(gè)特點(diǎn)：（1）概念化，不是程序化。計(jì)算機(jī)科學(xué)不是計(jì)算機(jī)編程。像計(jì)算機(jī)科學(xué)家那樣去思維意味著遠(yuǎn)不止能為計(jì)算機(jī)編程，還要求能夠在抽象的多個(gè)層次上思維。許多人將計(jì)算機(jī)科學(xué)等同于計(jì)算機(jī)編程。許多人為主修計(jì)算機(jī)科學(xué)的學(xué)生們看到的只是一個(gè)狹窄的就業(yè)范圍。許多人認(rèn)為計(jì)算機(jī)科學(xué)的基礎(chǔ)研究已經(jīng)完成，剩下的只是工程問題。當(dāng)我們行動(dòng)起來去改變這一領(lǐng)域的社會(huì)形象時(shí)，計(jì)算思維就是一個(gè)引導(dǎo)著計(jì)算機(jī)教育家、研究者和實(shí)踐者的宏大愿景。13.1.3計(jì)算思維的特點(diǎn)（2）根本的，不是刻板的技能。根本技能是每一個(gè)人為了在現(xiàn)代社會(huì)中發(fā)揮職能所必須掌握的?？贪寮寄芤馕吨鴻C(jī)械的重復(fù)。具有諷刺意味的是，當(dāng)計(jì)算機(jī)像人類一樣思考之后，思維可就真的變成機(jī)械的了。（3）是人的，不是計(jì)算機(jī)的思維方式。計(jì)算思維是人類求解問題的一條途徑，但決非要使人類像計(jì)算機(jī)那樣地思考。計(jì)算機(jī)枯燥且沉悶，人類聰穎且富有想象力。是人類賦予計(jì)算機(jī)激情。配置了計(jì)算設(shè)備，我們就能用自己的智慧去解決那些在計(jì)算時(shí)代之前不敢嘗試的問題，實(shí)現(xiàn)“只有想不到，沒有做不到”的境界。13.1.3計(jì)算思維的特點(diǎn)（4）數(shù)學(xué)和工程思維的互補(bǔ)與融合。計(jì)算機(jī)科學(xué)在本質(zhì)上源自數(shù)學(xué)思維，因?yàn)橄袼械目茖W(xué)一樣，其形式化基礎(chǔ)建筑于數(shù)學(xué)之上。計(jì)算機(jī)科學(xué)又從本質(zhì)上源自工程思維，因?yàn)槲覀兘ㄔ斓氖悄軌蚺c實(shí)際世界互動(dòng)的系統(tǒng)，基本計(jì)算設(shè)備的限制迫使計(jì)算機(jī)學(xué)家必須計(jì)算性地思考，不能只是數(shù)學(xué)性地思考。構(gòu)建虛擬世界的自由使我們能夠設(shè)計(jì)超越物理世界的各種系統(tǒng)。13.1.3計(jì)算思維的特點(diǎn)（5）是思想，不是人造物。不只是我們生產(chǎn)的軟件硬件等人造物將以物理形式到處呈現(xiàn)并時(shí)時(shí)刻刻觸及我們的生活，更重要的是還將有我們用以接近和求解問題、管理日常生活、與他人交流和互動(dòng)的計(jì)算概念；而且，面向所有的人，所有地方。當(dāng)計(jì)算思維真正融入人類活動(dòng)的整體以致不再表現(xiàn)為一種顯式之哲學(xué)的時(shí)候，它就將成為一種現(xiàn)實(shí)。13.1.3計(jì)算思維的特點(diǎn)因此，特別需要向人們傳送下面兩個(gè)主要信息：（1）智力上的挑戰(zhàn)和引人入勝的科學(xué)問題依舊亟待理解和解決。這些問題和解答僅僅受限于我們自己的好奇心和創(chuàng)造力。一個(gè)人可以主修英語或者數(shù)學(xué)，接著從事各種各樣的職業(yè)。計(jì)算機(jī)科學(xué)也一樣。一個(gè)人可以主修計(jì)算機(jī)科學(xué)，接著從事醫(yī)學(xué)、法律、商業(yè)、政治，以及任何類型的科學(xué)和工程，甚至藝術(shù)工作。13.1.3計(jì)算思維的特點(diǎn)（2）應(yīng)該讓“怎么像計(jì)算機(jī)科學(xué)家一樣思維”這樣的課程，面向所有專業(yè)，而不僅僅是計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生。應(yīng)當(dāng)使廣大學(xué)生接觸計(jì)算的方法和模型，設(shè)法激發(fā)公眾對(duì)計(jì)算機(jī)領(lǐng)域科學(xué)探索的興趣。應(yīng)當(dāng)傳播計(jì)算機(jī)科學(xué)的快樂、崇高和力量，致力于使計(jì)算思維成為常識(shí)。13.1.3計(jì)算思維的特點(diǎn)PART02數(shù)據(jù)工程師的社會(huì)責(zé)任計(jì)算機(jī)、網(wǎng)絡(luò)、大數(shù)據(jù)和人工智能技術(shù)正在使世界經(jīng)歷一場(chǎng)巨大的變革，這種變革不但體現(xiàn)在人們的日常工作和生活中，而且深刻地反映在社會(huì)經(jīng)濟(jì)、文化等各個(gè)方面。比如：網(wǎng)絡(luò)信息的膨脹正在逐步瓦解信息集中控制的現(xiàn)狀；與傳統(tǒng)的通信方式相比，計(jì)算機(jī)通信更有利于不同性別、種族、文化和語言的人們之間的交流，更有助于減少交流中的偏見和誤解。13.2數(shù)據(jù)工程師的社會(huì)責(zé)任“職業(yè)化”通常也被稱為“職業(yè)特性”、“職業(yè)作風(fēng)”或“專業(yè)精神”等，應(yīng)該視為從業(yè)人員、職業(yè)團(tuán)體及其服務(wù)對(duì)象——公眾之間的三方關(guān)系準(zhǔn)則。該準(zhǔn)則是從事某一職業(yè)，并得以生存和發(fā)展的必要條件。實(shí)際上，該準(zhǔn)則隱含地為從業(yè)人員、職業(yè)團(tuán)體（由雇主作為代表）和公眾（或社會(huì)）擬訂了一個(gè)三方協(xié)議，其中規(guī)定的各方的需求、期望和責(zé)任就構(gòu)成了職業(yè)化的基本內(nèi)涵。如從業(yè)人員希望職業(yè)團(tuán)體能夠抵制來自社會(huì)的不合理要求，能夠?qū)β殬I(yè)目標(biāo)、指導(dǎo)方針和技能要求不斷進(jìn)行檢查、評(píng)價(jià)和更新，從而保持該職業(yè)的吸引力。13.2.1職業(yè)化和道德責(zé)任反過來，職業(yè)團(tuán)體也對(duì)從業(yè)人員提出了要求，要求從業(yè)人員具有與職業(yè)理想相稱的價(jià)值觀念，具有足夠的、完成規(guī)定服務(wù)所要求的知識(shí)和技能。類似地，社會(huì)對(duì)職業(yè)團(tuán)體以及職業(yè)團(tuán)體對(duì)社會(huì)都具有一定的期望和需求。任何領(lǐng)域提供的任何一項(xiàng)專業(yè)服務(wù)都應(yīng)該達(dá)到三方的滿意，至少能夠使三方彼此接受對(duì)方?！奥殬I(yè)化”是一個(gè)適用于所有職業(yè)的一個(gè)總的原則性協(xié)議，但具體到某一個(gè)行業(yè)時(shí)，還應(yīng)考慮其自身特殊的要求。雖然職業(yè)道德規(guī)范沒有法律法規(guī)所具有的強(qiáng)制性，但遵守這些規(guī)范對(duì)行業(yè)的健康發(fā)展是至關(guān)重要的。13.2.1職業(yè)化和道德責(zé)任道德準(zhǔn)則被設(shè)計(jì)來幫助計(jì)算機(jī)專業(yè)人士決定其有關(guān)道德問題的判斷。許多專業(yè)機(jī)構(gòu)（諸如美國(guó)計(jì)算機(jī)協(xié)會(huì)、英國(guó)計(jì)算機(jī)協(xié)會(huì)、澳大利亞計(jì)算機(jī)協(xié)會(huì)以及美國(guó)計(jì)算機(jī)倫理研究所等）都頒布了道德準(zhǔn)則，每種準(zhǔn)則在細(xì)節(jié)上存在著差別，為專業(yè)人士行為提供了整體指南準(zhǔn)則。13.2.1職業(yè)化和道德責(zé)任計(jì)算機(jī)倫理研究所頒布的最短準(zhǔn)則如下。（1）不要使用計(jì)算機(jī)來傷害他人。（2）不要干擾他人的計(jì)算機(jī)工作。（3）不要監(jiān)控他人的文件。（4）不要使用計(jì)算機(jī)來偷竊。（5）不要使用計(jì)算機(jī)來提供假證詞。（6）不要使用或者復(fù)制你沒有付費(fèi)的軟件。13.2.1職業(yè)化和道德責(zé)任（7）不要在沒有獲得允許的情況下使用他人的計(jì)算機(jī)資源。（8）不要盜用他人的智能成果。（9）應(yīng)該考慮到自己所編寫程序的社會(huì)后果。（10）使用計(jì)算機(jī)時(shí)應(yīng)該體現(xiàn)出對(duì)信息的尊重。13.2.1職業(yè)化和道德責(zé)任美國(guó)計(jì)算機(jī)協(xié)會(huì)（ACM）為專業(yè)人士行為制訂的道德準(zhǔn)則包含21條，包括“必須遵守現(xiàn)有的本地、地區(qū)、國(guó)家以及國(guó)際法律，除非有明確準(zhǔn)則要求不必這樣做。”13.2.2ACM職業(yè)道德責(zé)任在計(jì)算機(jī)日益成為各個(gè)領(lǐng)域及各項(xiàng)社會(huì)事務(wù)中心角色的今天，那些直接或間接從事軟件設(shè)計(jì)和軟件開發(fā)的人員，有著既可從善也可從惡的極大機(jī)會(huì)，同時(shí)還可影響周圍其他從事該職業(yè)的人的行為。為能保證使其盡量發(fā)揮有益的作用，這就必須要求軟件工程師致力于使軟件工程成為一個(gè)有益的和受人尊敬的職業(yè)。為此，1998年，IEEE-CS和ACM聯(lián)合特別工作組在對(duì)多個(gè)計(jì)算學(xué)科和工程學(xué)科規(guī)范進(jìn)行廣泛研究的基礎(chǔ)上，制訂了軟件工程師職業(yè)化的一個(gè)關(guān)鍵規(guī)范《軟件工程資格和專業(yè)規(guī)范》。該規(guī)范不代表立法，它只是向?qū)嵺`者指明社會(huì)期望他們達(dá)到的標(biāo)準(zhǔn)，以及同行們的共同追求和相互的期望。13.2.2ACM職業(yè)道德責(zé)任該規(guī)范要求軟件工程師應(yīng)該堅(jiān)持以下8項(xiàng)道德規(guī)范。原則1：公眾。從職業(yè)角色來說，軟件工程師應(yīng)當(dāng)始終關(guān)注公眾的利益，按照與公眾的安全、健康和幸福相一致的方式發(fā)揮作用。原則2：客戶和雇主。軟件工程師應(yīng)當(dāng)有一個(gè)認(rèn)知，什么是其客戶和雇主的最大利益。他們應(yīng)該總是以職業(yè)的方式擔(dān)當(dāng)他們的客戶或雇主的忠實(shí)代理人和委托人。原則3：產(chǎn)品。軟件工程師應(yīng)當(dāng)盡可能地確保他們開發(fā)的軟件對(duì)于公眾、雇主、客戶以及用戶是有用的，在質(zhì)量上是可接受的，在時(shí)間上要按期完成并且費(fèi)用合理，同時(shí)沒有錯(cuò)誤。13.2.2ACM職業(yè)道德責(zé)任原則4：判斷。軟件工程師應(yīng)當(dāng)完全堅(jiān)持自己獨(dú)立自主的專業(yè)判斷并維護(hù)其判斷的聲譽(yù)。原則5：管理。軟件工程的管理者和領(lǐng)導(dǎo)應(yīng)當(dāng)通過規(guī)范的方法贊成和促進(jìn)軟件管理的發(fā)展與維護(hù)，并鼓勵(lì)他們所領(lǐng)導(dǎo)的人員履行個(gè)人和集體的義務(wù)。原則6：職業(yè)。軟件工程師應(yīng)該提高他們職業(yè)的正直性和聲譽(yù)，并與公眾的興趣保持一致。13.2.2ACM職業(yè)道德責(zé)任原則7：同事。軟件工程師應(yīng)該公平合理地對(duì)待他們的同事，并應(yīng)該采取積極的步驟支持社團(tuán)的活動(dòng)。原則8：自身。軟件工程師應(yīng)當(dāng)在他們的整個(gè)職業(yè)生涯中，積極參與有關(guān)職業(yè)規(guī)范的學(xué)習(xí)，努力提高從事自己的職業(yè)所應(yīng)該具有的能力，以推進(jìn)職業(yè)規(guī)范的發(fā)展。13.2.2ACM職業(yè)道德責(zé)任在軟件開發(fā)的過程中，軟件工程師及工程管理人員不可避免地會(huì)在某些與工程相關(guān)的事務(wù)上產(chǎn)生沖突。軟件工程師應(yīng)該以符合道德的方式減少和妥善地處理這些沖突。13.2.3軟件工程師道德基礎(chǔ)1996年11月，IEEE道德規(guī)范委員會(huì)指定并批準(zhǔn)了《工程師基于道德基礎(chǔ)提出異議的指導(dǎo)方針》，提出了9條指導(dǎo)方針：（1）確立清晰的技術(shù)基礎(chǔ)：盡量弄清事實(shí)，充分理解技術(shù)上的不同觀點(diǎn)，而且一旦證實(shí)對(duì)方的觀點(diǎn)是正確的，就要毫不猶豫地接受。（2）使自己的觀點(diǎn)具有較高的職業(yè)水準(zhǔn)，盡量使其客觀和不帶有個(gè)人感情色彩，避免涉及無關(guān)的事務(wù)和感情沖動(dòng)。（3）及早發(fā)現(xiàn)問題，盡量在最低層的管理部門解決問題。13.2.3軟件工程師道德基礎(chǔ)（4）在因?yàn)槟呈聞?wù)而決定單干之前，要確保該事務(wù)足夠重要，值得為此冒險(xiǎn)。（5）利用組織的爭(zhēng)端裁決機(jī)制解決問題。（6）保留記錄，收集文件。當(dāng)認(rèn)識(shí)到自己處境嚴(yán)峻的時(shí)候，應(yīng)著手制作日志，記錄自己采取的每一項(xiàng)措施及其時(shí)間，并備份重要文件，防止突發(fā)事件。（7）辭職：當(dāng)在組織內(nèi)無法化解沖突的時(shí)候，要考慮自己是去還是留。選擇辭職既有好處也有缺點(diǎn)，作出決定之前要慎重考慮。13.2.3軟件工程師道德基礎(chǔ)（8）匿名：工程師在認(rèn)識(shí)到組織內(nèi)部存在嚴(yán)重危害，而且公開提請(qǐng)組織的注意可能會(huì)招致有關(guān)人員超出其限度的強(qiáng)烈反應(yīng)時(shí)，對(duì)該問題的反映可以考慮采用匿名報(bào)告的形式。（9）外部介入：組織內(nèi)部化解沖突的努力失敗后，如果工程人員決定讓外界人員或機(jī)構(gòu)介入該事件，那么不管他是否決定辭職，都必須認(rèn)真考慮讓誰介入?？赡艿倪x擇有：執(zhí)法機(jī)關(guān)、政府官員、立法人員或公共利益組織等。13.2.3軟件工程師道德基礎(chǔ)PART03數(shù)據(jù)科學(xué)的職業(yè)技能數(shù)據(jù)科學(xué)可以簡(jiǎn)單地理解為預(yù)測(cè)分析和數(shù)據(jù)挖掘，是統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)的結(jié)合，用于獲取數(shù)據(jù)中的推斷和洞察力。相關(guān)方法包括回歸分析、關(guān)聯(lián)規(guī)則（比如市場(chǎng)購物車分析）、優(yōu)化技術(shù)和仿真（比如蒙特卡羅仿真用于構(gòu)建場(chǎng)景結(jié)果）。數(shù)據(jù)科學(xué)的典型技術(shù)和數(shù)據(jù)類型包括：（1）優(yōu)化模型、預(yù)測(cè)模型、預(yù)報(bào)、統(tǒng)計(jì)分析；（2）結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、多種類型數(shù)據(jù)源、超大數(shù)據(jù)集。13.3數(shù)據(jù)科學(xué)的職業(yè)技能商業(yè)智能和數(shù)據(jù)科學(xué)都是企業(yè)所需要的，用于應(yīng)對(duì)不斷出現(xiàn)的各種商業(yè)挑戰(zhàn)。商業(yè)智能和數(shù)據(jù)科學(xué)有不同的定位和范疇，商業(yè)智能更關(guān)注于過去的舊數(shù)據(jù)，其結(jié)果的商業(yè)價(jià)值相對(duì)較低；而數(shù)據(jù)科學(xué)更著眼于新數(shù)據(jù)和對(duì)未來的預(yù)測(cè)，其商業(yè)價(jià)值相對(duì)更高。但是，它們并不存在一個(gè)明確的劃分，只是各有偏重而己。13.3數(shù)據(jù)科學(xué)的職業(yè)技能大數(shù)據(jù)需要數(shù)據(jù)科學(xué)，數(shù)據(jù)科學(xué)要做到的不僅是存儲(chǔ)和管理，而是預(yù)測(cè)式的分析（比如如果這樣做，會(huì)發(fā)生什么）。數(shù)據(jù)學(xué)科是統(tǒng)計(jì)學(xué)的論證，真正利用到統(tǒng)計(jì)學(xué)的力量。只有這樣才能夠從數(shù)據(jù)中獲得經(jīng)驗(yàn)和未來方向的指導(dǎo)。但是，數(shù)據(jù)科學(xué)并非簡(jiǎn)單的統(tǒng)計(jì)學(xué)，需要新的應(yīng)用、新的平臺(tái)和新的數(shù)據(jù)觀，而不僅是現(xiàn)有的傳統(tǒng)的基礎(chǔ)架構(gòu)與軟件平臺(tái)。13.3數(shù)據(jù)科學(xué)的職業(yè)技能通常，數(shù)據(jù)科學(xué)的實(shí)踐需要三個(gè)一般領(lǐng)域的技能，即：商業(yè)洞察、計(jì)算機(jī)技術(shù)/編程和統(tǒng)計(jì)學(xué)/數(shù)學(xué)。而另一方面，不同的工作對(duì)象，他的具體技能集合會(huì)有所不同。為探索數(shù)據(jù)科學(xué)家應(yīng)該具有的職業(yè)技能，多個(gè)研究項(xiàng)目進(jìn)行了不同的探索，綜合得出數(shù)據(jù)科學(xué)從業(yè)人員相關(guān)的25項(xiàng)技能（表13-1）。13.3.1數(shù)據(jù)科學(xué)重要技能表13-1數(shù)據(jù)科學(xué)中25項(xiàng)技能13.3.1數(shù)據(jù)科學(xué)重要技能表13-1列出的25項(xiàng)技能反映了通常與數(shù)據(jù)科學(xué)家相關(guān)的技能集合。在進(jìn)行針對(duì)數(shù)據(jù)科學(xué)家的調(diào)查中，調(diào)查者要求數(shù)據(jù)專業(yè)人員指出他們?cè)?5項(xiàng)不同數(shù)據(jù)科學(xué)技能上的熟練程度。研究中，選擇“中等了解”水平作為數(shù)據(jù)專業(yè)人員擁有該技能的標(biāo)準(zhǔn)?！爸械攘私狻闭f明一個(gè)數(shù)據(jù)專業(yè)人員能夠按照要求完成任務(wù)，并且通常不需要他人的幫助。一項(xiàng)基于620名數(shù)據(jù)專業(yè)人士的研究表明了這樣的數(shù)字：商業(yè)經(jīng)理=250；開發(fā)人員=222；創(chuàng)意人員=221；專業(yè)研究人員=353。13.3.1數(shù)據(jù)科學(xué)重要技能以擁有該技能的數(shù)據(jù)專業(yè)人員百分比對(duì)表13-1的25項(xiàng)技能進(jìn)行排序。分析表明，所有數(shù)據(jù)專業(yè)人員中最常見的數(shù)據(jù)科學(xué)十大技能是：統(tǒng)計(jì)–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（75%）數(shù)學(xué)&建模–數(shù)學(xué)（71%）

商業(yè)–項(xiàng)目管理（71%）統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（71%）

統(tǒng)計(jì)–科學(xué)/科學(xué)方法（65%）統(tǒng)計(jì)–數(shù)據(jù)管理（65%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（59%）統(tǒng)計(jì)–統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（59%）商業(yè)–商業(yè)開發(fā)（53%）13.3.2常見的數(shù)據(jù)科學(xué)十大技能許多重要的數(shù)據(jù)科學(xué)技能都屬于統(tǒng)計(jì)領(lǐng)域：所有的五項(xiàng)與統(tǒng)計(jì)相關(guān)的技能都出現(xiàn)在前10項(xiàng)中，包括溝通、數(shù)據(jù)挖掘和可視化工具、科學(xué)/科學(xué)方法、以及統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模；另外，與商業(yè)洞察力相關(guān)的三項(xiàng)技能出現(xiàn)在前10，包括項(xiàng)目管理、產(chǎn)品設(shè)計(jì)以及開發(fā)；而沒有編程技能出現(xiàn)在前10中。13.3.2常見的數(shù)據(jù)科學(xué)十大技能我們按不同的職業(yè)角色（商業(yè)經(jīng)理、開發(fā)人員、創(chuàng)意人員、研究人員）來看看他們的十大技能。分析中指出了對(duì)于每個(gè)職業(yè)角色的數(shù)據(jù)專業(yè)人士所擁有每項(xiàng)技能的頻率?？梢钥吹剑恍┲匾獢?shù)據(jù)科學(xué)技能在不同角色中是通用的。這包括溝通、管理結(jié)構(gòu)化數(shù)據(jù)、數(shù)學(xué)、項(xiàng)目管理、數(shù)據(jù)挖掘和可視化工具、數(shù)據(jù)管理、以及產(chǎn)品設(shè)計(jì)和開發(fā)。然而，除了這些相似之處還有相當(dāng)大的差異。13.3.3技能因職業(yè)角色而異（1）商業(yè)經(jīng)理：那些認(rèn)為自己是商業(yè)經(jīng)理（尤其是領(lǐng)導(dǎo)者、商務(wù)人士和企業(yè)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（91%）

商業(yè)–項(xiàng)目管理（86%）商業(yè)–商業(yè)開發(fā)（77%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（74%）商業(yè)–預(yù)算（71%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（70%）數(shù)學(xué)&建模–數(shù)學(xué)（65%）

統(tǒng)計(jì)–數(shù)據(jù)管理（64%）統(tǒng)計(jì)--數(shù)據(jù)挖掘和可視化工具（64%）商業(yè)–管理和兼容性（61%）只與商業(yè)經(jīng)理相關(guān)的重要技能毫無疑問的是商業(yè)領(lǐng)域的。這些技能包括商業(yè)開發(fā)、預(yù)算、以及管理和兼容性。13.3.3技能因職業(yè)角色而異（2）開發(fā)人員：那些認(rèn)為自己是開發(fā)工作者（尤其是開發(fā)者和工程師）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：技術(shù)–管理結(jié)構(gòu)化數(shù)據(jù)（91%）

統(tǒng)計(jì)–溝通（85%）統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（76%）商業(yè)–產(chǎn)品設(shè)計(jì)（75%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

統(tǒng)計(jì)–數(shù)據(jù)管理（75%）商業(yè)–項(xiàng)目管理（74%）

編程–數(shù)據(jù)庫管理（73%）編程–后端編程（70%）

編程–系統(tǒng)管理（65%）13.3.3技能因職業(yè)角色而異只與開發(fā)者相關(guān)的技能是技術(shù)和編程。這些重要的技能包括后端編程、系統(tǒng)管理以及數(shù)據(jù)庫管理。雖然這些數(shù)據(jù)專業(yè)人員具備這些技能，但是他們中只有少數(shù)人擁有那些在大數(shù)據(jù)世界中很重要的，更加技術(shù)化、更加依賴編程的技能。例如，少于一半人掌握云管理（42%），大數(shù)據(jù)和分布式數(shù)據(jù)（48%）和NLP以及文本挖掘（42%）。思考這些百分比是否會(huì)隨著更多數(shù)據(jù)科學(xué)項(xiàng)目的畢業(yè)生開始就業(yè)而上升。13.3.3技能因職業(yè)角色而異（3）創(chuàng)意人員：那些認(rèn)為自己是創(chuàng)意工作者（尤其是藝術(shù)家和黑客）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（79%）商業(yè)–項(xiàng)目管理（77%）

統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（77%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（68%）統(tǒng)計(jì)–科學(xué)/科學(xué)方法（68%）

統(tǒng)計(jì)–數(shù)據(jù)管理（67%）統(tǒng)計(jì)–統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（63%）

商業(yè)–商業(yè)開發(fā)（58%）這里并沒有指針對(duì)創(chuàng)意人員的重要技能。事實(shí)上，他們的重要數(shù)據(jù)科學(xué)技能列表與那些研究者緊密匹配，十項(xiàng)中有八項(xiàng)一致。13.3.3技能因職業(yè)角色而異（4）研究人員：那些認(rèn)為自己是研究工作者（尤其是研究員、科學(xué)家和統(tǒng)計(jì)學(xué)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（90%）

統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（81%）數(shù)學(xué)&建模–數(shù)學(xué)（80%）

統(tǒng)計(jì)–科學(xué)/科學(xué)方法（78%）統(tǒng)計(jì)–統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（75%）技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（73%）統(tǒng)計(jì)–數(shù)據(jù)管理（69%）

商業(yè)–項(xiàng)目管理（68%）技術(shù)–機(jī)器學(xué)習(xí)（58%）

數(shù)學(xué)–最優(yōu)化（56%）研究人員的重要數(shù)據(jù)科學(xué)技能主要在統(tǒng)計(jì)領(lǐng)域。另外，只在研究工作者上體現(xiàn)的重要數(shù)據(jù)科學(xué)技能是高度定量性質(zhì)，包括機(jī)器學(xué)習(xí)和最優(yōu)化。13.3.3技能因職業(yè)角色而異上述研究所列舉的重要數(shù)據(jù)科學(xué)技能取決于你正在考慮成為哪種類型的數(shù)據(jù)科學(xué)家。雖然一些技能看起來在不同專業(yè)人士間通用（尤其是溝通、處理結(jié)構(gòu)化數(shù)據(jù)、數(shù)學(xué)、項(xiàng)目管理、數(shù)據(jù)挖掘和可視化工具、數(shù)據(jù)管理，以及產(chǎn)品設(shè)計(jì)和開發(fā)），但是其他數(shù)據(jù)科學(xué)技能對(duì)特定領(lǐng)域也有獨(dú)特之處。開發(fā)人員的重要技能包含編程技能，研究人員則包含數(shù)學(xué)相關(guān)的技能，當(dāng)然商業(yè)經(jīng)理的重要技能包含商業(yè)相關(guān)的技能。13.3.3技能因職業(yè)角色而異這些結(jié)果對(duì)數(shù)據(jù)專業(yè)人員感興趣的領(lǐng)域和他們的招聘者及組織都有影響。數(shù)據(jù)專業(yè)人員可以使用結(jié)果來了解不同類型工作需要具備的技能種類。如果你有較強(qiáng)的統(tǒng)計(jì)能力，你可能會(huì)尋找一個(gè)有較強(qiáng)研究成分的工作。了解你的技能并找那些對(duì)應(yīng)的工作。13.3.3技能因職業(yè)角色而異通常，企業(yè)自身業(yè)務(wù)所產(chǎn)生的數(shù)據(jù)，再加上政府公開的統(tǒng)計(jì)數(shù)據(jù)，還有與數(shù)據(jù)聚合商等其他公司結(jié)成的戰(zhàn)略聯(lián)盟等，通過這些手段就可以獲得業(yè)務(wù)上所需的數(shù)據(jù)了。從技術(shù)方面來看，硬盤價(jià)格下降，NoSQL數(shù)據(jù)庫等技術(shù)的出現(xiàn)，使得和過去相比，大量數(shù)據(jù)能夠以廉價(jià)高效的方式進(jìn)行存儲(chǔ)。此外，像Hadoop這樣能夠在通用性服務(wù)器上工作的分布式處理技術(shù)的出現(xiàn)，也使得對(duì)龐大的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理的工作比以往更快速且更廉價(jià)。13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色然而，就算所擁有的工具再完美，工具本身是不可能讓數(shù)據(jù)產(chǎn)生價(jià)值的。事實(shí)上，我們還需要能夠運(yùn)用這些工具的專門人才，他們能夠從堆積如山的大量數(shù)據(jù)中找到金礦，并將數(shù)據(jù)的價(jià)值以易懂的形式傳達(dá)給決策者，最終得以在業(yè)務(wù)上實(shí)現(xiàn)。大數(shù)據(jù)的出現(xiàn)，催生了新的數(shù)據(jù)生態(tài)系統(tǒng)。為了提供有效的數(shù)據(jù)服務(wù)，它需要3種典型角色。表13-2介紹了這3種角色，以及每種角色具有代表性的專業(yè)人員舉例。13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色表13-2新數(shù)據(jù)生態(tài)系統(tǒng)中的三個(gè)關(guān)鍵角色13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識(shí)教程第14章楊武劍周蘇主編大數(shù)據(jù)的未來01連接開放數(shù)據(jù)02大數(shù)據(jù)資產(chǎn)的崛起03大數(shù)據(jù)發(fā)展趨勢(shì)04大數(shù)據(jù)技術(shù)展望目錄/CONTENTSPART01連接開放數(shù)據(jù)曾提出萬維網(wǎng)方案、被譽(yù)為“WWW之父”的英國(guó)計(jì)算機(jī)科學(xué)家蒂姆·伯納斯-李（1955-）爵士說，當(dāng)初他創(chuàng)建世界上第一個(gè)網(wǎng)絡(luò)瀏覽器以及服務(wù)器的時(shí)候，動(dòng)力在于一種挫折感。那時(shí)他跟一班優(yōu)秀的科學(xué)家一起工作，可是不同的人用不同的機(jī)器，他們所使用的文件格式也不完全一樣。要想在這樣的數(shù)據(jù)之上有所創(chuàng)建，就需要不斷的轉(zhuǎn)換格式，唯有如此才能挖掘出數(shù)據(jù)底層的無限潛力。蒂姆說，當(dāng)時(shí)他給自己的老板寫了份備忘介紹互聯(lián)網(wǎng)的構(gòu)想，可是，蒂姆的老板給他的答復(fù)是“想法還很模糊，但是很讓人興奮”。14.1連接開放數(shù)據(jù)盡管今日的互聯(lián)網(wǎng)無限風(fēng)光，但是蒂姆依然對(duì)于不能高效地在網(wǎng)絡(luò)上獲取數(shù)據(jù)而耿耿于懷。盡管我們都知道網(wǎng)絡(luò)上有海量的數(shù)據(jù)，但是我們不懂得怎么去利用。14.1連接開放數(shù)據(jù)在2009年2月美國(guó)加利福尼亞州長(zhǎng)灘市舉行的科技娛樂設(shè)計(jì)大會(huì)上，蒂姆面對(duì)會(huì)場(chǎng)中眾多的聽眾，喊出了“馬上給我原始數(shù)據(jù)！”這句話。蒂姆提出的將數(shù)據(jù)公開并連接起來以對(duì)社會(huì)產(chǎn)生巨大價(jià)值為目的進(jìn)行共享的主張，被稱為L(zhǎng)OD（連接開放數(shù)據(jù)。LOD倡導(dǎo)將國(guó)家及地方政府等公職機(jī)構(gòu)所擁有的統(tǒng)計(jì)數(shù)據(jù)、地理信息數(shù)據(jù)、生命科學(xué)等科學(xué)數(shù)據(jù)開放出來并相互連接，以為社會(huì)整體帶來巨大價(jià)值為目的進(jìn)行共享。LOD與倡導(dǎo)積極公開政府信息及公民參與行政的“政府公開”運(yùn)動(dòng)緊密相連，正不斷在世界各國(guó)政府中推廣開來。14.1.1LOD運(yùn)動(dòng)針對(duì)政府機(jī)構(gòu)抱著數(shù)據(jù)不放而拒絕公開的狀況，蒂姆·伯納斯-李強(qiáng)烈呼吁：“請(qǐng)把未經(jīng)任何加工的原始數(shù)據(jù)交給我們。我們想要的正是這些數(shù)據(jù)。希望公開原始數(shù)據(jù)?！彪S即，他在演講中繼續(xù)談道：“從工作到娛樂，數(shù)據(jù)存在于我們生活的各個(gè)角落。然而，數(shù)據(jù)產(chǎn)生地的數(shù)量并不重要，更重要的是將數(shù)據(jù)連接起來。通過將數(shù)據(jù)相互連接，就可以獲得在傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的力量。這其中會(huì)產(chǎn)生出巨大的力量。如果你們認(rèn)為這個(gè)構(gòu)想很不錯(cuò)，那么現(xiàn)在正是開始行動(dòng)的時(shí)候了?！?4.1.1LOD運(yùn)動(dòng)所謂“傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的”，意思是說，傳統(tǒng)的Web是以人類參與為前提的，而通過計(jì)算機(jī)進(jìn)行自動(dòng)化信息處理還相對(duì)落后。例如，HTML中所描述的信息，對(duì)人類是容易理解的，但對(duì)于計(jì)算機(jī)來說，處理起來就比較費(fèi)力。LOD的前提是，利用Web的現(xiàn)有架構(gòu)，采用計(jì)算機(jī)容易處理的機(jī)器可讀格式來進(jìn)行信息的共享。蒂姆·伯納斯-李的設(shè)想是，“如果任何數(shù)據(jù)都可以在Web上公開，人們便可以使用這些數(shù)據(jù)實(shí)現(xiàn)過去所未曾想象過的壯舉”。14.1.1LOD運(yùn)動(dòng)例如，英國(guó)政府官員在官方博客中寫道：“我們有自行車事故發(fā)生地點(diǎn)的原始統(tǒng)計(jì)數(shù)據(jù)?！彪S后僅僅過了兩天，《泰晤士報(bào)》就在其在線版“時(shí)代在線”上，利用這些原始數(shù)據(jù)和地圖數(shù)據(jù)相結(jié)合開發(fā)了相應(yīng)的服務(wù)并公開發(fā)布。蒂姆指出，互聯(lián)網(wǎng)上的數(shù)據(jù)都是地下的，我們要把它們帶到地上，讓整個(gè)世界通過相互連接的數(shù)據(jù)而變得更有意義。蒂姆的做法是：（1）以類似于html的格式來標(biāo)示數(shù)據(jù)。（2）獲取有價(jià)值的數(shù)據(jù)。（3）揭示數(shù)據(jù)間的關(guān)系。14.1.1LOD運(yùn)動(dòng)蒂姆說：我們需要獲得這樣的數(shù)據(jù)，因?yàn)檫@樣會(huì)有助于催生新的科學(xué)發(fā)現(xiàn)，“相互連接的數(shù)據(jù)越多，數(shù)據(jù)的價(jià)值也越大?！蔽覀兛梢宰寣W(xué)生去分析這樣的數(shù)據(jù)，理解政府運(yùn)作的新機(jī)理。而要治療癌癥、老年癡呆癥、金融危機(jī)以至于氣候變暖的問題，我們都需要實(shí)現(xiàn)數(shù)據(jù)共享，而不是關(guān)起門來，各搞各的。應(yīng)當(dāng)撕開社交型網(wǎng)站間的商業(yè)屏障，開放政府的數(shù)據(jù)。14.1.1LOD運(yùn)動(dòng)某氣象服務(wù)公司的業(yè)務(wù)是向農(nóng)民銷售綜合氣候保險(xiǎn)。所謂綜合氣候保險(xiǎn)，是農(nóng)民為了預(yù)防惡劣氣候所造成的農(nóng)作物減產(chǎn)而購買的一種保險(xiǎn)。該公司通過農(nóng)業(yè)部公開的過去60年的農(nóng)作物收獲量數(shù)據(jù)，與數(shù)據(jù)量達(dá)到14TB的土壤數(shù)據(jù)，以及政府在全國(guó)100萬個(gè)地點(diǎn)安裝的多普勒雷達(dá)所掃描的氣候信息相結(jié)合，對(duì)玉米、大豆、冬小麥的收獲量進(jìn)行預(yù)測(cè)。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司所有這些數(shù)據(jù)都是可以免費(fèi)獲取的，因此是否能夠從這些數(shù)據(jù)中催生出有魅力的商品和服務(wù)才是關(guān)鍵。該公司的兩位創(chuàng)始人，其中一位曾負(fù)責(zé)過分布式計(jì)算。此外，該公司60名員工中，有12名擁有環(huán)境科學(xué)和應(yīng)用數(shù)據(jù)方面的博士學(xué)位，聚集了一大批能夠用數(shù)據(jù)來解決現(xiàn)實(shí)問題的人才。此外，該公司還自稱“世界上屈指可數(shù)的MapReduce駕馭者”，他們利用云計(jì)算服務(wù)來處理政府公開的龐大數(shù)據(jù)。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司有用的數(shù)據(jù)、具備高超技術(shù)的人才，再加上能夠廉價(jià)完成龐大數(shù)據(jù)處理的計(jì)算環(huán)境，該公司將這些條件結(jié)合起來，對(duì)土壤、水體、氣溫等條件對(duì)農(nóng)作物收成產(chǎn)生的影響進(jìn)行分析，從而催生出了氣候保險(xiǎn)這一商品。該公司的CEO認(rèn)為：“只要能夠長(zhǎng)期獲取高質(zhì)量的數(shù)據(jù)，無論是加拿大還是巴西，在任何地方都能夠提供我們的服務(wù)?！?4.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司PART02大數(shù)據(jù)資產(chǎn)的崛起企業(yè)自身收集的大量數(shù)據(jù)稱為“大數(shù)據(jù)資產(chǎn)”，將數(shù)據(jù)轉(zhuǎn)化為優(yōu)勢(shì)的企業(yè)將有能力降低成本、提升價(jià)格、區(qū)分優(yōu)劣、吸引更多顧客并最終留住更多顧客。這主要包含兩層意思：（1）對(duì)初創(chuàng)公司來說，現(xiàn)在有大量的機(jī)會(huì)能夠使企業(yè)通過創(chuàng)建應(yīng)用來實(shí)現(xiàn)這種競(jìng)爭(zhēng)優(yōu)勢(shì)，且這種方法一經(jīng)創(chuàng)建能立即被使用。企業(yè)無須自行創(chuàng)建這些可能性，它們能通過應(yīng)用程序獲取可能性。（2）將數(shù)據(jù)和依靠數(shù)據(jù)辦事的能力作為核心資產(chǎn)的企業(yè)（不管是初創(chuàng)還是大型公司）會(huì)擁有極大的競(jìng)爭(zhēng)優(yōu)勢(shì)。14.2大數(shù)據(jù)資產(chǎn)的崛起在國(guó)家、地方政府等公職機(jī)關(guān)不斷努力強(qiáng)化開放數(shù)據(jù)的同時(shí)，民間組織為了促進(jìn)數(shù)據(jù)的順利流通，也設(shè)立了數(shù)據(jù)的交易場(chǎng)所——數(shù)據(jù)市場(chǎng)。所謂數(shù)據(jù)市場(chǎng)，就是將人口統(tǒng)計(jì)、環(huán)境、金融、零售、天氣、體育等數(shù)據(jù)集中到一起，使其能夠進(jìn)行交易的機(jī)制。換句話說，就是數(shù)據(jù)的一站式商店。14.2.1數(shù)據(jù)市場(chǎng)的興起數(shù)據(jù)市場(chǎng)的基本功能包括收費(fèi)、認(rèn)證、數(shù)據(jù)格式管理、服務(wù)管理等，在所涉獵的數(shù)據(jù)對(duì)象、數(shù)據(jù)豐富程度、收費(fèi)模式、數(shù)據(jù)模型、查詢語言、數(shù)據(jù)工具等方面則各有不同。14.2.1數(shù)據(jù)市場(chǎng)的興起各家運(yùn)營(yíng)數(shù)據(jù)市場(chǎng)的公司并沒有確立一個(gè)明確的商業(yè)模式，不過這些公司都設(shè)計(jì)了各自不同的收益模型，試圖建立依靠數(shù)據(jù)集本身來獲得收益的商業(yè)模式，他們所提供的數(shù)據(jù)除了從合作伙伴企業(yè)征集外，自己也會(huì)通過網(wǎng)頁抓取來收集。14.2.2不同的商業(yè)模式另一方面，IT大廠則不期望通過數(shù)據(jù)使用費(fèi)本身來獲得收益。由于這兩家類公司都是在各自運(yùn)營(yíng)的云計(jì)算平臺(tái)上提供數(shù)據(jù)的，因此在云端工作的應(yīng)用程序可以很容易地集成數(shù)據(jù)市場(chǎng)中的數(shù)據(jù)，從而提升應(yīng)用價(jià)值，并通過收取云計(jì)算平臺(tái)的使用費(fèi)來獲得收益。他們所提供的數(shù)據(jù)是由合作伙伴企業(yè)提供的。從數(shù)據(jù)市場(chǎng)的性質(zhì)上看，其數(shù)據(jù)量必然隨著時(shí)間的推移而不斷增長(zhǎng)。因此，作為支撐的基礎(chǔ)架構(gòu)必須擁有足夠的可擴(kuò)放性。當(dāng)數(shù)據(jù)調(diào)用集中時(shí)，需要足夠承受大量訪問的可用性。微軟和亞馬遜通過運(yùn)用云計(jì)算來平穩(wěn)運(yùn)營(yíng)數(shù)據(jù)市場(chǎng)的服務(wù)，展現(xiàn)了自身云計(jì)算平臺(tái)的堅(jiān)固性。14.2.2不同的商業(yè)模式未來的發(fā)展趨勢(shì)，應(yīng)該是將連接開放數(shù)據(jù)與數(shù)據(jù)市場(chǎng)的思路進(jìn)行融合，從而確保數(shù)據(jù)市場(chǎng)之間的兼容性。14.2.2不同的商業(yè)模式無論是與其他公司結(jié)成聯(lián)盟，還是利用數(shù)據(jù)聚合商，如果自己的公司擁有原創(chuàng)數(shù)據(jù)的話，接下來就可以通過與其他公司的數(shù)據(jù)進(jìn)行整合，來催生出新的附加價(jià)值，從而升華成為增值數(shù)據(jù)，這樣能夠產(chǎn)生相乘的放大效果，這也是大數(shù)據(jù)運(yùn)用的真正價(jià)值之一。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)選擇什么公司的數(shù)據(jù)與自己公司的原創(chuàng)數(shù)據(jù)整合，這需要想象力。在自己公司內(nèi)部認(rèn)為已經(jīng)沒什么用的數(shù)據(jù)，對(duì)于其他公司來說很可能就是求之不得的寶貝。例如，體育公司提供了一款面向智能手機(jī)的慢跑應(yīng)用APP，它可以通過使用北斗導(dǎo)航全球定位系統(tǒng)在地圖上記錄跑步的路線，將這些數(shù)據(jù)匿名化并進(jìn)行統(tǒng)計(jì)，就可以找出跑步者最喜歡的路線。在體育用品店看來，這樣的數(shù)據(jù)在討論門店選址計(jì)劃上是非常有效的。此外，在考慮具備淋浴、儲(chǔ)物柜功能的收費(fèi)休息區(qū)以及自動(dòng)售貨機(jī)的設(shè)置地點(diǎn)、售貨品種時(shí)，這樣的數(shù)據(jù)也是非常有用的。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)對(duì)于擁有原創(chuàng)數(shù)據(jù)的企業(yè)和數(shù)據(jù)聚合商來說，不應(yīng)該將目光局限在自己的行業(yè)中，而應(yīng)該以更加開闊的視野來制定數(shù)據(jù)運(yùn)用的戰(zhàn)略。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)我們已經(jīng)見證了一系列大數(shù)據(jù)新應(yīng)用程序的誕生，而這些僅僅只是冰山一角?，F(xiàn)在，很多應(yīng)用程序都聚集在業(yè)務(wù)問題上，但是將來會(huì)出現(xiàn)更多的打破整個(gè)大環(huán)境和產(chǎn)業(yè)現(xiàn)狀的應(yīng)用程序。以加利福尼亞州圣克魯斯市的警局為例，他們通過分析歷史犯罪記錄，預(yù)測(cè)犯罪即將發(fā)生的地點(diǎn)。然后，他們派警員到有可能發(fā)生犯罪的地方。事實(shí)證明，這有利于降低犯罪率。也就是說，只要在一天中適當(dāng)?shù)臅r(shí)間或者一周中適當(dāng)?shù)囊惶欤ㄟ@取決于歷史數(shù)據(jù)分析），將警員安插在適當(dāng)?shù)牡胤?，就能減少犯罪。一家數(shù)據(jù)公司為警方提供協(xié)助——該公司通過分析處理犯罪活動(dòng)這種類型的大數(shù)據(jù)，以使其能在這種特定用途上發(fā)揮效用。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)催生一系列新應(yīng)用程序，這也意味著大數(shù)據(jù)不只為大公司所用，大數(shù)據(jù)將影響各種規(guī)模的公司，同時(shí)還會(huì)影響到我們的個(gè)人生活——從如何生活、如何相愛到如何學(xué)習(xí)。大數(shù)據(jù)再也不是有著大量數(shù)據(jù)分析師和數(shù)據(jù)工程師的大企業(yè)的專利。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序分析大數(shù)據(jù)的基礎(chǔ)架構(gòu)已經(jīng)具備（至少對(duì)企業(yè)來說），這些基礎(chǔ)架構(gòu)中的大部分都能在“云”中找到。起先實(shí)施起來是很容易的。有大量的公共數(shù)據(jù)可以利用，如此一來，企業(yè)家們將會(huì)創(chuàng)建大量的大數(shù)據(jù)應(yīng)用程序。企業(yè)家和投資者所面臨的挑戰(zhàn)就是找到有意義的數(shù)據(jù)組合，包括公開的和私人的數(shù)據(jù)，然后將其在具體的應(yīng)用中結(jié)合起來——這些應(yīng)用將在未來幾年內(nèi)為很多人帶來真正的好處。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)為創(chuàng)業(yè)和投資開辟了一些新的領(lǐng)域。你不需要是統(tǒng)計(jì)學(xué)家、工程師或者數(shù)據(jù)分析師，就可以輕松獲取數(shù)據(jù)，然后憑借分析和洞察力開發(fā)可行的產(chǎn)品。這是一個(gè)充滿機(jī)遇的主要領(lǐng)域。就像臉書讓照片分享變得更容易一樣，新產(chǎn)品不僅能使分析變得更簡(jiǎn)單，還能將分析結(jié)果與人分享，并從這種協(xié)作中學(xué)到一些東西。14.2.5在大數(shù)據(jù)“空白”中提取最大價(jià)值將眾多內(nèi)部數(shù)據(jù)聚合到一個(gè)地方，或者將公共數(shù)據(jù)和個(gè)人數(shù)據(jù)源相結(jié)合，也能開辟出產(chǎn)品開發(fā)和投資的新機(jī)遇。新數(shù)據(jù)組合能帶來更優(yōu)的信用評(píng)級(jí)、更好的城市規(guī)劃，公司將有能力比競(jìng)爭(zhēng)對(duì)手更快速、敏捷地發(fā)現(xiàn)市場(chǎng)變化并做出反應(yīng)。大數(shù)據(jù)也將會(huì)有新的信息和數(shù)據(jù)服務(wù)業(yè)務(wù)。雖然如今網(wǎng)上有大量數(shù)據(jù)——從學(xué)校的成績(jī)指標(biāo)、天氣信息到美國(guó)人口普查，數(shù)據(jù)應(yīng)有盡有，但是很多這些數(shù)據(jù)的原始數(shù)據(jù)依然很難獲取。14.2.5在大數(shù)據(jù)“空白”中提取最大價(jià)值收集數(shù)據(jù)、將數(shù)據(jù)標(biāo)準(zhǔn)化，并且要以一種能輕易獲取數(shù)據(jù)的方式呈現(xiàn)數(shù)據(jù)可不容易。信息服務(wù)的范圍已經(jīng)到了不得不細(xì)分的時(shí)刻，因?yàn)樘幚磉@些數(shù)據(jù)太難了。新數(shù)據(jù)服務(wù)也會(huì)因?yàn)槲覀兩傻男聰?shù)據(jù)而涌現(xiàn)。因?yàn)橹悄苁謾C(jī)配備有全球定位系統(tǒng)、動(dòng)力感應(yīng)和內(nèi)置聯(lián)網(wǎng)功能，它們就成為了生成低成本具體位置數(shù)據(jù)的完美選擇。研發(fā)者也已經(jīng)開始創(chuàng)建應(yīng)用程序來檢測(cè)路面異常情況，比方說基于震動(dòng)來檢測(cè)路面坑洞。這需要大數(shù)據(jù)應(yīng)用程序中的最基本的應(yīng)用程序——如智能手機(jī)采用的這一類低成本傳感器來收集新數(shù)據(jù)。14.2.5在大數(shù)據(jù)“空白”中提取最大價(jià)值要從這樣的空白機(jī)遇里提煉出最大的價(jià)值，不僅需要金融市場(chǎng)理解大數(shù)據(jù)業(yè)務(wù)，還需要其訂閱大數(shù)據(jù)業(yè)務(wù)。在大數(shù)據(jù)、云計(jì)算、移動(dòng)應(yīng)用以及社會(huì)因素等因素的影響下，不難想象，信息技術(shù)在未來20年的發(fā)展一定比過去更精彩。14.2.5在大數(shù)據(jù)“空白”中提取最大價(jià)值PART03大數(shù)據(jù)發(fā)展趨勢(shì)大數(shù)據(jù)是繼云計(jì)算、移動(dòng)互聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一大熱門話題。根據(jù)預(yù)測(cè)，大數(shù)據(jù)將繼續(xù)以每年40％的速度持續(xù)增加，而大數(shù)據(jù)所帶來的市場(chǎng)規(guī)模也將以每年翻一番的速度增長(zhǎng)。有關(guān)大數(shù)據(jù)的話題也逐漸從討論大數(shù)據(jù)相關(guān)的概念，轉(zhuǎn)移到研究從業(yè)務(wù)和應(yīng)用出發(fā)如何讓大數(shù)據(jù)真正實(shí)現(xiàn)其所蘊(yùn)含的價(jià)值。大數(shù)據(jù)無疑給眾多的IT企業(yè)帶來了新的成長(zhǎng)機(jī)會(huì)，同時(shí)也帶來了前所未有的挑戰(zhàn)。14.3大數(shù)據(jù)發(fā)展趨勢(shì)隨著數(shù)據(jù)量的持續(xù)增大，學(xué)術(shù)界和工業(yè)界都在關(guān)注著大數(shù)據(jù)的發(fā)展，探索新的大數(shù)據(jù)技術(shù)、開發(fā)新的工具和服務(wù)，努力將“信息過載”轉(zhuǎn)換成“信息優(yōu)勢(shì)”。大數(shù)據(jù)將跟移動(dòng)計(jì)算和云計(jì)算一起成為信息領(lǐng)域企業(yè)所“必須有”的競(jìng)爭(zhēng)力。如何應(yīng)對(duì)大數(shù)據(jù)所帶來的挑戰(zhàn)，如何抓住機(jī)會(huì)真正實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值，將是未來信息領(lǐng)域持續(xù)關(guān)注的課題，并同時(shí)會(huì)帶來信息領(lǐng)域里諸多方面的突破性發(fā)展。14.3.1信息領(lǐng)域的突破性發(fā)展（1）物聯(lián)網(wǎng)。是把所有物品通過信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來，進(jìn)行信息交換，即物物相息，以實(shí)現(xiàn)智能化識(shí)別和管理。物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分，也是“信息化”時(shí)代的重要發(fā)展階段。物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)；其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信，也就是物物相息。14.3.1信息領(lǐng)域的突破性發(fā)展（2）智慧城市。是運(yùn)用信息和通信技術(shù)手段感測(cè)、分析、整合城市運(yùn)行核心系統(tǒng)的各項(xiàng)關(guān)鍵信息，對(duì)包括民生、環(huán)保、公共安全、城市服務(wù)、工商業(yè)活動(dòng)在內(nèi)的各種需求做出智能響應(yīng)。智慧城市的實(shí)質(zhì)是利用先進(jìn)的信息技術(shù)，實(shí)現(xiàn)城市智慧式管理和運(yùn)行，進(jìn)而為城市中的人創(chuàng)造更美好的生活，促進(jìn)城市的和諧、可持續(xù)成長(zhǎng)。這個(gè)趨勢(shì)的成敗取決于數(shù)據(jù)量跟數(shù)據(jù)是否足夠，這有賴于政府部門與民營(yíng)企業(yè)的合作。此外，發(fā)展中的5G網(wǎng)絡(luò)是全世界通用的規(guī)格，如果產(chǎn)品被一個(gè)智慧城市采用，將可以應(yīng)用在全世界的智慧城市。14.3.1信息領(lǐng)域的突破性發(fā)展（3）虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）與混合現(xiàn)實(shí)（MR）。虛擬現(xiàn)實(shí)技術(shù)是一種創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境；增強(qiáng)現(xiàn)實(shí)技術(shù)是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真，使用戶沉浸到該環(huán)境中。14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實(shí)（MR）是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在現(xiàn)實(shí)場(chǎng)景呈現(xiàn)虛擬場(chǎng)景信息，在現(xiàn)實(shí)世界、虛擬世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。

圖14-4混合現(xiàn)實(shí)14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實(shí)是一組技術(shù)組合，不僅提供新的觀看方法，還提供新的輸入方法，而且所有方法相互結(jié)合，從而推動(dòng)創(chuàng)新。輸入和輸出的結(jié)合對(duì)中小型企業(yè)而言是關(guān)鍵的差異化優(yōu)勢(shì)。這樣，混合現(xiàn)實(shí)就可以直接影響你的工作流程，幫助企業(yè)提高工作效率和創(chuàng)新能力。14.3.1信息領(lǐng)域的突破性發(fā)展（4）區(qū)塊鏈技術(shù)。區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲(chǔ)、點(diǎn)對(duì)點(diǎn)傳輸、共識(shí)機(jī)制、加密算法等計(jì)算機(jī)技術(shù)的新型應(yīng)用模式。所謂共識(shí)機(jī)制是區(qū)塊鏈系統(tǒng)中實(shí)現(xiàn)不同節(jié)點(diǎn)之間建立信任、獲取權(quán)益的數(shù)學(xué)算法。區(qū)塊鏈技術(shù)是指一種全民參與記賬的方式。所有的系統(tǒng)背后都有一個(gè)數(shù)據(jù)庫，你可以把數(shù)據(jù)庫看成是就是一個(gè)大賬本。區(qū)塊鏈有很多不同應(yīng)用方式，最常見的應(yīng)用是虛擬幣交易。14.3.1信息領(lǐng)域的突破性發(fā)展（5）語音識(shí)別技術(shù)。所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等。人們預(yù)計(jì)，語音識(shí)別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域，是信息技術(shù)領(lǐng)域重要的科技發(fā)展技術(shù)之一。（6）人工智能（AI）。是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)。AI需要匯入很多信息才能進(jìn)化，進(jìn)而產(chǎn)生一些意想不到的結(jié)果，它對(duì)經(jīng)濟(jì)發(fā)展會(huì)產(chǎn)生劇烈影響。14.3.1信息領(lǐng)域的突破性發(fā)展（7）數(shù)字匯流。在不同的使用情境之下，人們會(huì)需要不一樣的數(shù)字裝置——光是屏幕大小就有好多種選項(xiàng)，音響效果、攝影機(jī)等都需要不同的配套。所有的裝置會(huì)存取同一個(gè)遠(yuǎn)端資料庫，讓人們的數(shù)字生活可以完全同步，隨時(shí)、無縫的切換使用情境。除了設(shè)備的匯流，人們更應(yīng)關(guān)心的是數(shù)字匯流，這是一個(gè)網(wǎng)絡(luò)商業(yè)模式的匯流，或者更明確的說，它是“內(nèi)容”與“電子商務(wù)”的匯流。14.3.1信息領(lǐng)域的突破性發(fā)展專家對(duì)大數(shù)據(jù)發(fā)展趨勢(shì)的一些預(yù)測(cè)是值得企業(yè)關(guān)注的。很多人都認(rèn)為大數(shù)據(jù)是一種流行技術(shù)，很多新興技術(shù)正在迅速發(fā)展。（1）更加關(guān)注數(shù)據(jù)治理。隨著企業(yè)不斷收集大量數(shù)據(jù)，濫用這些數(shù)據(jù)的風(fēng)險(xiǎn)也隨之增加。這就是許多專家期望重新強(qiáng)調(diào)數(shù)據(jù)治理的原因。數(shù)據(jù)治理將回到最前沿，“隨著分析和診斷平臺(tái)的擴(kuò)展，來自數(shù)據(jù)的衍生事實(shí)將在業(yè)務(wù)中更加無縫地共享，因?yàn)閿?shù)據(jù)治理工具將有助于確保數(shù)據(jù)的機(jī)密性、正確使用和完整性?！?4.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)（2）增強(qiáng)分析將加速制定決策。高德納公司分析師認(rèn)為，增強(qiáng)分析會(huì)影響大數(shù)據(jù)的未來趨勢(shì)。它涉及將人工智能、機(jī)器學(xué)習(xí)和自然語言處理等技術(shù)應(yīng)用于大數(shù)據(jù)平臺(tái)，這有助于企業(yè)更快地做出決策，并更有效地識(shí)別趨勢(shì)?！斑@種趨勢(shì)確實(shí)是使分析民主化……這實(shí)際上是在短時(shí)間內(nèi)采用更少的技能獲得洞察力。”14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)（3）大數(shù)據(jù)將補(bǔ)充而不是取代研究人員的工作。如今許多大數(shù)據(jù)平臺(tái)是如此先進(jìn)，以至于人們開始期待不久之后可以取代人類的辛勤工作，這是可以理解的。但是，有專家認(rèn)為，這一結(jié)果不太可能實(shí)現(xiàn)，尤其是在使用大數(shù)據(jù)協(xié)助市場(chǎng)研究等應(yīng)用領(lǐng)域。14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)數(shù)據(jù)科學(xué)有助于識(shí)別相關(guān)性。因此，數(shù)據(jù)科學(xué)家可以提供以前未曾知道的模式、網(wǎng)絡(luò)、依賴性。但是，要使數(shù)據(jù)科學(xué)真正增加附加值，需要研究人員了解信息的場(chǎng)景，并解釋其原因?！笆袌?chǎng)研究實(shí)際上是在理解人類的行為和動(dòng)機(jī)。數(shù)據(jù)科學(xué)無法獨(dú)立滲透?！崩?，某研究企業(yè)在其全球團(tuán)隊(duì)中擁有1000多名數(shù)據(jù)科學(xué)家，但還雇用了其他專業(yè)人員，包括民族專家和行為科學(xué)家。14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)（4）云計(jì)算數(shù)據(jù)將塑造客戶體驗(yàn)。當(dāng)人們權(quán)衡大數(shù)據(jù)趨勢(shì)時(shí)，云計(jì)算成為一個(gè)主要的討論話題。知情人士希望從中了解一些當(dāng)前情況以及當(dāng)用戶將大數(shù)據(jù)與云計(jì)算結(jié)合在一起時(shí)可能會(huì)發(fā)生的情況。大數(shù)據(jù)分析的未來趨勢(shì)之一是使用信息來增強(qiáng)客戶體驗(yàn)。擁有云優(yōu)先的心態(tài)將會(huì)有所幫助，“越來越多的品牌互動(dòng)是通過數(shù)字服務(wù)進(jìn)行的，因此，企業(yè)必須找到改進(jìn)更新的方法，并以前所未有的速度提供新產(chǎn)品和服務(wù)?！?4.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)那么云計(jì)算技術(shù)如何融入其中？有專家預(yù)測(cè)：“考慮到速度，企業(yè)將采用現(xiàn)代的云原生模式，該模式通過使用最新方法來開發(fā)和管理的現(xiàn)代微服務(wù)架構(gòu)來促進(jìn)容器化部署?！?4.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)（5）公共云和私有云的共存性不斷提高。如今，許多公司已經(jīng)考慮或正在使用云計(jì)算技術(shù)，企業(yè)認(rèn)識(shí)到可以同時(shí)選擇公共云和私有云的元年，而不是只能選擇其中之一。“公共云和私有云可以共存的想法將成為現(xiàn)實(shí)。在混合云架構(gòu)的支持下，多云IT戰(zhàn)略將在確保企業(yè)具有更好的數(shù)據(jù)管理和可見性，同時(shí)確保其數(shù)據(jù)保持可訪問性和安全性方面發(fā)揮關(guān)鍵作用?！?/p>

圖14-5私有云14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)人們期待私有云在未來不僅存在于數(shù)據(jù)中心，還將出現(xiàn)在邊緣。“隨著5G和邊緣部署的繼續(xù)推出，私有混合云將出現(xiàn)在邊緣，以確保實(shí)時(shí)監(jiān)控和管理數(shù)據(jù)。這意味著企業(yè)將期望更多的云計(jì)算服務(wù)提供商確保他們能夠在所有環(huán)境中支持其混合云需求。”14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)（6）云計(jì)算技術(shù)將使大數(shù)據(jù)更易于訪問。云計(jì)算的主要優(yōu)點(diǎn)之一是，它使人們可以從任何地方訪問應(yīng)用程序。在這個(gè)時(shí)代，大多數(shù)員工都會(huì)知道如何使用自助式大數(shù)據(jù)應(yīng)用程序?！按髷?shù)據(jù)分析可能會(huì)在企業(yè)的應(yīng)用更加廣泛。企業(yè)IT團(tuán)隊(duì)經(jīng)理和IT人員都被認(rèn)為具有勝任大數(shù)據(jù)工作的能力，就像當(dāng)今大多數(shù)員工都被認(rèn)為了解電子表格和演示文稿一樣。大型數(shù)據(jù)集的分析將成為幾乎每個(gè)業(yè)務(wù)決策的前提，就像現(xiàn)在的成本和收益分析一樣。”14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)但“這并不意味著每個(gè)人都必須成為數(shù)據(jù)科學(xué)家。自助服務(wù)工具將使大數(shù)據(jù)分析更容易實(shí)現(xiàn)。管理者將使用簡(jiǎn)化的、類似電子表格的界面來利用云計(jì)算的計(jì)算能力，并從任何設(shè)備運(yùn)行高級(jí)分析?！?4.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)大數(shù)據(jù)是時(shí)代發(fā)展一個(gè)必然的產(chǎn)物，而且大數(shù)據(jù)正在加速滲透到我們的日常生活中，從衣食住行各個(gè)層面均有體現(xiàn)。大數(shù)據(jù)時(shí)代，一切可量化、可分析。大數(shù)據(jù)未來的發(fā)展趨勢(shì)，一定是以多種技術(shù)為依托且相互結(jié)合，才能釋放大數(shù)據(jù)的“洪荒之力”。14.3.2未來發(fā)展趨勢(shì)的專家預(yù)測(cè)PART04大數(shù)據(jù)技術(shù)展望如今，人們尋求獲得更多的數(shù)據(jù)有著充分的理由，因?yàn)閿?shù)據(jù)分析推動(dòng)了數(shù)字創(chuàng)新。然而，將這些龐大的數(shù)據(jù)集轉(zhuǎn)化為可操作的洞察力仍然是一個(gè)難題。而那些獲得應(yīng)對(duì)強(qiáng)大數(shù)據(jù)挑戰(zhàn)的解決方案的組織將能夠更好地從數(shù)字創(chuàng)新的成果中獲得經(jīng)濟(jì)利益。14.4大數(shù)據(jù)技術(shù)展望大數(shù)據(jù)分析有著相當(dāng)明確的重要思想：找到隱藏在大量數(shù)據(jù)中的信息模式，訓(xùn)練機(jī)器學(xué)習(xí)模型以發(fā)現(xiàn)這些模式，并將這些模型實(shí)施到生產(chǎn)中以自動(dòng)對(duì)其進(jìn)行操作。需要清理數(shù)據(jù)，并在必要時(shí)進(jìn)行重復(fù)。然而，將這些數(shù)據(jù)投入生產(chǎn)的現(xiàn)實(shí)要比看上去困難得多。對(duì)于初學(xué)者來說，收集來自不同孤島的數(shù)據(jù)很困難，需要提取、轉(zhuǎn)換和加載（ETL）和數(shù)據(jù)庫技能。清理和標(biāo)記機(jī)器學(xué)習(xí)培訓(xùn)的數(shù)據(jù)也需要花費(fèi)大量的時(shí)間和費(fèi)用，特別是在使用深度學(xué)習(xí)技術(shù)時(shí)。此外，以安全可靠的方式將這樣的系統(tǒng)大規(guī)模投入生產(chǎn)需要另外一套技能。14.4.1數(shù)據(jù)管理仍然很難有些人將數(shù)據(jù)稱之為“新石油”，也被稱為“新貨幣”。無論怎樣比喻，大家都認(rèn)為數(shù)據(jù)具有價(jià)值，并且如果對(duì)此不重視將會(huì)帶來更大的風(fēng)險(xiǎn)。歐盟通過頒布GDPR法規(guī)闡明了數(shù)據(jù)治理不善的財(cái)務(wù)后果。美國(guó)公司也必須遵守由美國(guó)聯(lián)邦、各州等創(chuàng)建的80個(gè)不同的數(shù)據(jù)制授權(quán)法規(guī)。數(shù)據(jù)泄露正在引發(fā)問題。大多數(shù)組織已經(jīng)意識(shí)到無序發(fā)展的大數(shù)據(jù)時(shí)代即將結(jié)束，社會(huì)對(duì)數(shù)據(jù)濫用或隱私泄露行為不再容忍。出于這些原因，數(shù)據(jù)管理仍然是一個(gè)巨大的挑戰(zhàn)，數(shù)據(jù)工程師將繼續(xù)成為大數(shù)據(jù)團(tuán)隊(duì)中最受歡迎的角色之一。14.4.1數(shù)據(jù)管理仍然很難在最初Hadoop的開發(fā)熱潮中，人們認(rèn)為可以將所有數(shù)據(jù)（包括分析和事務(wù)工作負(fù)載）整合到一個(gè)平臺(tái)上。但由于各種原因，這個(gè)想法從未真正實(shí)現(xiàn)過。其面臨的最大挑戰(zhàn)是不同的數(shù)據(jù)類型具有不同的存儲(chǔ)要求，關(guān)系數(shù)據(jù)庫、圖形數(shù)據(jù)庫、時(shí)間序列數(shù)據(jù)庫、HDF（用于存儲(chǔ)和分發(fā)科學(xué)數(shù)據(jù)的一種自我描述、多對(duì)象文件格式）和對(duì)象存儲(chǔ)都有各自的優(yōu)缺點(diǎn)。如果開發(fā)人員將所有數(shù)據(jù)塞進(jìn)一個(gè)適合所有數(shù)據(jù)的數(shù)據(jù)湖中，他們就無法最大限度地發(fā)揮其優(yōu)勢(shì)。14.4.2數(shù)據(jù)孤島繼續(xù)激增在某些情況下，將大量數(shù)據(jù)集中到一個(gè)地方確實(shí)有意義。例如，云數(shù)據(jù)存儲(chǔ)庫為企業(yè)提供了靈活且經(jīng)濟(jì)高效的存儲(chǔ)，而Hadoop仍然是非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和分析的經(jīng)濟(jì)高效的存儲(chǔ)。但對(duì)于大多數(shù)公司而言，這些只是必須管理的額外的重要孤島，但它們不是唯一的。在缺乏強(qiáng)大集權(quán)的情況下，數(shù)據(jù)倉庫將會(huì)繼