大數(shù)據(jù)詳細介紹

大數(shù)據(jù)詳細介紹.隨著移動互聯(lián)、社交網(wǎng)絡和電子商務的普及，互聯(lián)網(wǎng)應用領域不斷拓展，我們正在進入一個數(shù)據(jù)爆炸的時代，即大數(shù)據(jù)時代。大數(shù)據(jù)對社會經(jīng)濟、政治、文化和人類生活等方面產(chǎn)生了深遠的影響，同時也提出了新的挑戰(zhàn)和機遇。大數(shù)據(jù)是當下最熱門的IT行業(yè)術(shù)語，圍繞著大數(shù)據(jù)的商業(yè)價值的利用，數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等已成為行業(yè)人士爭相追捧的利潤焦點。大數(shù)據(jù)時代的背景是信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，這一現(xiàn)象越來越受到關注。大數(shù)據(jù)時代的到來已經(jīng)出現(xiàn)在《紐約時報》和《華爾街時報》的專欄封面上，甚至進入美國白宮網(wǎng)的新聞。在國內(nèi)，大數(shù)據(jù)時代也已經(jīng)成為一些互聯(lián)網(wǎng)主題的講座沙龍中的熱門話題。國君證券、國泰君安、銀河證券等也將大數(shù)據(jù)時代寫進了投資推薦報告。大數(shù)據(jù)時代的到來得益于移動互聯(lián)、社交網(wǎng)絡和電子商務的發(fā)展，這些應用拓展了互聯(lián)網(wǎng)的疆界和應用領域。然而，我們在享受便利的同時，也無償貢獻了自己的個人信息。每個人在互聯(lián)網(wǎng)進入到大數(shù)據(jù)時代，都將是透明性存在。各種數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展。雖然現(xiàn)在企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來的隱患，但是隨著時間的推移，人們將越來越多地意識到數(shù)據(jù)對企業(yè)的重要性。大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數(shù)據(jù)指的是海量的數(shù)據(jù)信息，它每年都在以驚人的速度增長?；ヂ?lián)網(wǎng)上的數(shù)據(jù)每年將增長50%，每兩年便將翻一番。此外，數(shù)據(jù)不僅僅是指人們在互聯(lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。Gartner研究機構(gòu)定義了“大數(shù)據(jù)”的概念，即指海量、高增長率和多樣化的信息資產(chǎn)，需要新的處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力。最早引用“大數(shù)據(jù)”這個術(shù)語的是apacheorg的開源項目Nutch，用于描述更新網(wǎng)絡搜索索引需要同時進行批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和GoogleFileSystem（GFS）的發(fā)布，“大數(shù)據(jù)”不再僅用來描述大量的數(shù)據(jù)，還包括處理數(shù)據(jù)的速度。“大數(shù)據(jù)”是指超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)，其數(shù)據(jù)規(guī)模和傳輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取其中的價值，必須選擇另一種方式來處理它。數(shù)據(jù)中隱藏著有價值的模式和信息，而當今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價。對企業(yè)組織來講，大數(shù)據(jù)的價值體現(xiàn)在分析使用和二次開發(fā)上。分析使用能揭示隱藏其中的信息，而二次開發(fā)則能創(chuàng)造出新產(chǎn)品和服務。隨著云計算時代的到來，大數(shù)據(jù)也吸引了越來越多的關注。大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)，能夠從各種各樣類型的數(shù)據(jù)中快速獲得有價值信息。這一點促使該技術(shù)具備走向眾多企業(yè)的潛力。大數(shù)據(jù)是一個涵蓋多個領域的概念，包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學和大數(shù)據(jù)應用等。目前，人們主要關注大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用，而大數(shù)據(jù)工程和科學問題則尚未受到足夠的重視。大數(shù)據(jù)工程涉及到大數(shù)據(jù)系統(tǒng)的規(guī)劃、建設、運營和管理，而大數(shù)據(jù)科學則關注于發(fā)現(xiàn)和驗證大數(shù)據(jù)規(guī)律，以及與自然和社會活動之間的關系。在大數(shù)據(jù)時代，數(shù)據(jù)具有四個特性。首先，數(shù)據(jù)量呈現(xiàn)出海量性，預計到2020年，全球數(shù)據(jù)量將擴大50倍。其次，數(shù)據(jù)類型呈現(xiàn)出多樣性，包括新型多結(jié)構(gòu)數(shù)據(jù)，如網(wǎng)絡日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄和傳感器網(wǎng)絡等。第三，數(shù)據(jù)的高速性指的是數(shù)據(jù)被創(chuàng)建和移動的速度，企業(yè)需要快速創(chuàng)建、處理和分析數(shù)據(jù)，以滿足用戶的實時需求。最后，數(shù)據(jù)易變性指的是數(shù)據(jù)具有多層結(jié)構(gòu)，呈現(xiàn)出多變的形式和類型，這對于傳統(tǒng)的應用軟件進行分析造成了很大的挑戰(zhàn)。除了以上四個特性之外，大數(shù)據(jù)還呈現(xiàn)出其他三個特征。首先，數(shù)據(jù)類型繁多，包括網(wǎng)絡日志、音頻、視頻、圖片和地理位置信息等等，這對于數(shù)據(jù)的處理能力提出了更高的要求。其次，數(shù)據(jù)價值密度相對較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。最后，數(shù)據(jù)的價值隨時間演變，需要不斷地分析和挖掘，以獲取更多的價值。和挑戰(zhàn)隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，未來的發(fā)展方向和趨勢也變得越來越清晰。首先，大數(shù)據(jù)技術(shù)將更加普及和應用于各個行業(yè)和領域，從而實現(xiàn)更多的商業(yè)價值。其次，人工智能和機器學習等技術(shù)將與大數(shù)據(jù)技術(shù)相結(jié)合，進一步提高數(shù)據(jù)處理的效率和精度。同時，數(shù)據(jù)安全和隱私保護的挑戰(zhàn)也越來越嚴峻，需要加強技術(shù)和法律方面的保障。最后，大數(shù)據(jù)技術(shù)的發(fā)展還需要更多的人才和投資支持，以推動其在各個領域的廣泛應用和創(chuàng)新發(fā)展。雖然大數(shù)據(jù)目前在國內(nèi)還處于初級階段，但是商業(yè)價值已經(jīng)顯現(xiàn)出來。未來，數(shù)據(jù)可能成為最大的交易商品。但是，僅僅擁有大量數(shù)據(jù)并不能算是大數(shù)據(jù)，而是要滿足數(shù)據(jù)量大、數(shù)據(jù)種類多、非標準化數(shù)據(jù)的特征才能真正稱之為大數(shù)據(jù)。因此，大數(shù)據(jù)的價值是通過數(shù)據(jù)共享和交叉復用來獲取最大的數(shù)據(jù)價值。從長遠來看，大數(shù)據(jù)將會與基礎設施一樣，有數(shù)據(jù)提供方、管理者、監(jiān)管者，數(shù)據(jù)的交叉復用將大數(shù)據(jù)變成一大產(chǎn)業(yè)。大數(shù)據(jù)的整體態(tài)勢和發(fā)展趨勢主要體現(xiàn)在幾個方面：大數(shù)據(jù)與學術(shù)、大數(shù)據(jù)與人類的活動、大數(shù)據(jù)的安全隱私、關鍵應用、系統(tǒng)處理以及整個產(chǎn)業(yè)的影響。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)規(guī)模將變得更大，數(shù)據(jù)資源化、數(shù)據(jù)的價值凸顯、數(shù)據(jù)私有化出現(xiàn)和聯(lián)盟共享。大數(shù)據(jù)的發(fā)展也將催生許多新興職業(yè)，例如數(shù)據(jù)分析師、數(shù)據(jù)科學家和數(shù)據(jù)工程師。有非常豐富的數(shù)據(jù)經(jīng)驗的人才將成為稀缺人才。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)共享聯(lián)盟將逐漸壯大成為產(chǎn)業(yè)的核心一環(huán)。然而，隨著大數(shù)據(jù)的共享越來越大，隱私問題也隨之而來，例如每天手機產(chǎn)生的通話、位置等等。這給帶來了便利的同時也給帶來了個人隱私的問題。數(shù)據(jù)資源化，大數(shù)據(jù)在國家、企業(yè)和社會層面成為重要的戰(zhàn)略資源，成為新的戰(zhàn)略制高點和搶購的新焦點。隨著社會的不斷發(fā)展，大數(shù)據(jù)對IT技術(shù)架構(gòu)的挑戰(zhàn)、大數(shù)據(jù)的生態(tài)環(huán)境問題、大數(shù)據(jù)的應用及產(chǎn)業(yè)鏈將日益突出。大數(shù)據(jù)提供了成功的新前線，企業(yè)數(shù)據(jù)本身就蘊藏著價值，但是將有用的數(shù)據(jù)與沒有價值的數(shù)據(jù)進行區(qū)分看起來可能是一個棘手的問題。除了掌握的人員情況、工資表和客戶記錄，其他數(shù)據(jù)也擁有轉(zhuǎn)化為價值的力量。例如，一段記錄人們?nèi)绾卧谀纳痰隇g覽購物的視頻、人們在購買您的服務前后的所作所為、如何通過社交網(wǎng)絡聯(lián)系您的客戶、是什么吸引合作伙伴加盟、客戶如何付款以及供應商喜歡的收款方式等所有這些場景都提供了很多指向，將它們抽絲剝繭，透過特殊的棱鏡觀察，將其與其他數(shù)據(jù)集對照，或者以與眾不同的方式分析解剖，就能讓您的行事方式發(fā)生天翻地覆的轉(zhuǎn)變。很多公司仍然只是簡單地堆積信息，把它們當作必須保存的信息，而不是將其作為戰(zhàn)略轉(zhuǎn)變的工具。然而，數(shù)據(jù)和人員是業(yè)務部門僅有的兩個無法被競爭對手復制的財富。在善用的人手中，好的數(shù)據(jù)是所有管理決策的基礎，帶來的是對客戶的深入了解和競爭優(yōu)勢。因此，數(shù)據(jù)是業(yè)務部門的生命線，必須讓數(shù)據(jù)在決策和行動時無縫且安全地流到人們手中。數(shù)據(jù)應該隨時為決策提供依據(jù)。政府公開道路和公共交通的使用信息為一些私營公司提供了巨大的價值，這些公司能夠善用這些數(shù)據(jù)，創(chuàng)造滿足潛在需求的新產(chǎn)品和服務。企業(yè)需要向創(chuàng)造和獲取數(shù)據(jù)方面的投入索取回報。有效管理來自新舊來源的數(shù)據(jù)以及獲取能夠破解龐大數(shù)據(jù)集含義的工具只是等式的一部分，但是這種挑戰(zhàn)不容低估。產(chǎn)生的數(shù)據(jù)在數(shù)量上持續(xù)膨脹，富媒體需要新的方法來發(fā)現(xiàn)，合作和交流系統(tǒng)以非結(jié)構(gòu)化文本的形式保存數(shù)據(jù)，必須用一種智能的方式來解讀。然而，應該將這種復雜性看成是一種機會而不是問題。處理方法正確時，產(chǎn)生的數(shù)據(jù)越多，結(jié)果就會越成熟可靠。傳感器、GPS系統(tǒng)和社交數(shù)據(jù)的新世界將帶來轉(zhuǎn)變運營的驚人新視角和機會。自從有了IT部門，董事會就一直在要求信息管理專家提供洞察力。商業(yè)智能穩(wěn)居CXO們的重中之重。在理想的世界中，IT是巨大的杠桿，改變了公司的影響力，帶來競爭差異、節(jié)省金錢、增加利潤、愉