《智慧物流與供應(yīng)鏈》課件-項(xiàng)目五 支撐智慧物流與供應(yīng)鏈的關(guān)鍵技術(shù)-計(jì)算技術(shù)

智慧物流與供應(yīng)鏈項(xiàng)目五支撐智慧物流與供應(yīng)鏈的關(guān)鍵技術(shù)-計(jì)算技術(shù)CONTENTS目錄123教學(xué)目標(biāo)課程導(dǎo)入知識(shí)點(diǎn)講解45總結(jié)課后作業(yè)教學(xué)目標(biāo)PART11教學(xué)目標(biāo)1.11.21.3知識(shí)目標(biāo)技能目標(biāo)素養(yǎng)目標(biāo)1.1知識(shí)目標(biāo)01.02.智能算法、云計(jì)算的概念（重點(diǎn)）大數(shù)據(jù)的概念與特點(diǎn)（難點(diǎn)）1.2技能目標(biāo)01.02.認(rèn)識(shí)傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法的區(qū)別能夠認(rèn)知云計(jì)算與大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用1.3素養(yǎng)目標(biāo)1.3.11.3.2培養(yǎng)愛護(hù)設(shè)備設(shè)施、自覺維護(hù)工作場(chǎng)所設(shè)備設(shè)施意識(shí)培養(yǎng)熱愛科技、尊重科技、珍惜科技意識(shí)1.3.1培養(yǎng)愛護(hù)設(shè)備設(shè)施、自覺維護(hù)工作場(chǎng)所設(shè)備設(shè)施意識(shí)

計(jì)算技術(shù)所依賴的硬件設(shè)備是實(shí)現(xiàn)智慧物流與供應(yīng)鏈高效運(yùn)作的基礎(chǔ)。學(xué)生要理解設(shè)備的精密性和重要性，在日常工作中輕拿輕放，嚴(yán)格按照操作規(guī)程使用。定期對(duì)設(shè)備進(jìn)行清潔和檢查，發(fā)現(xiàn)小問(wèn)題及時(shí)處理，遇到自己無(wú)法解決的故障及時(shí)上報(bào)，確保設(shè)備始終處于良好運(yùn)行狀態(tài)，延長(zhǎng)設(shè)備的使用壽命，降低企業(yè)運(yùn)營(yíng)成本。1.3.2培養(yǎng)熱愛科技、尊重科技、珍惜科技意識(shí)

學(xué)生要深刻領(lǐng)悟到科技在行業(yè)發(fā)展中的核心作用。計(jì)算技術(shù)的不斷創(chuàng)新推動(dòng)著智慧物流與供應(yīng)鏈的進(jìn)步，學(xué)生應(yīng)當(dāng)對(duì)其抱有敬畏之心和熱愛之情。尊重每一項(xiàng)科技成果背后科研人員的努力和付出，珍惜現(xiàn)有科技帶來(lái)的便利和效率提升。積極主動(dòng)地探索新技術(shù)，將科技的力量充分運(yùn)用到實(shí)際工作中，為行業(yè)的發(fā)展貢獻(xiàn)自己的力量。課程導(dǎo)入PART22課程導(dǎo)入進(jìn)入智慧物流與智慧供應(yīng)鏈時(shí)代，關(guān)鍵是計(jì)算技術(shù)？加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)教授RichardS.Sutton被稱為是“強(qiáng)化學(xué)習(xí)的教父”，是DeepMind的杰出研究科學(xué)家。2019年他發(fā)表一篇文章《苦澀的教訓(xùn)》，指出人工智能在多年的發(fā)展中所走的彎路是沒(méi)有很好地利用計(jì)算能力，認(rèn)為人工智能中的搜索和算法是智能與智慧技術(shù)水平的長(zhǎng)期提升動(dòng)力。IBM開發(fā)基于RS6000的超級(jí)計(jì)算機(jī)“深藍(lán)”，其中輸入了100年以來(lái)所有國(guó)際象棋特級(jí)大師的開局、殘局的下法，2017年擊敗世界冠軍卡斯帕羅夫的方法，就是基于計(jì)算機(jī)強(qiáng)大的存儲(chǔ)能力、快速深度的搜索與匹配計(jì)算技術(shù)。

在物流與供應(yīng)鏈領(lǐng)域中，每天都會(huì)產(chǎn)生大量的交易與業(yè)務(wù)數(shù)據(jù)，如我國(guó)的淘寶網(wǎng)新增的交易數(shù)量每天超過(guò)10TB，Amazon在其電子商務(wù)平臺(tái)上每秒處理訂單超過(guò)70個(gè)，而eBay的數(shù)據(jù)處理和分析能力是每天100PB。依據(jù)國(guó)際數(shù)據(jù)公司IDC的推斷，全世界數(shù)據(jù)量每18個(gè)月就會(huì)翻一番。而伴隨著這么大數(shù)據(jù)量的商業(yè)訂單交易過(guò)程，商品、貨物等會(huì)通過(guò)遍布全國(guó)、甚至全球的物流系統(tǒng)網(wǎng)絡(luò)或者供應(yīng)鏈信息集成系統(tǒng)，來(lái)控制與協(xié)調(diào)其中的各種各樣物流活動(dòng)，如倉(cāng)儲(chǔ)進(jìn)出、分揀與裝載等調(diào)度、運(yùn)輸多資源多式聯(lián)運(yùn)的銜接、車輛配送路徑問(wèn)題優(yōu)化等問(wèn)題。因?yàn)榫W(wǎng)絡(luò)規(guī)模大、資源協(xié)調(diào)因素多、環(huán)境復(fù)雜多變，故常常屬于NP-hard問(wèn)題，為了求解智慧物流與智慧供應(yīng)鏈中的這些問(wèn)題，智能優(yōu)化技術(shù)與算法在其中發(fā)揮了巨大的作用。知識(shí)點(diǎn)講解PART33知識(shí)點(diǎn)講解3.13.23.3智能優(yōu)化算法及其在物流供應(yīng)鏈中的應(yīng)用云計(jì)算及其在智慧物流與供應(yīng)鏈中的應(yīng)用大數(shù)據(jù)技術(shù)及其在智慧物流與供應(yīng)鏈中的應(yīng)用3.1智能優(yōu)化算法及其在物流供應(yīng)鏈中的應(yīng)用3.1.1傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法及其區(qū)別傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法的區(qū)別智能算法的主要特點(diǎn)3.1.2智能優(yōu)化方法簡(jiǎn)介遺傳算法模擬退火算法禁忌搜索算法蟻群算法免疫算法3.1.3智能算法在物流與供應(yīng)鏈中的應(yīng)用車輛路徑問(wèn)題物流配送中心選址問(wèn)題汽車零配件供應(yīng)鏈中的循環(huán)取貨問(wèn)題3.1.1傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法及其區(qū)別——傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法的區(qū)別（重點(diǎn)）01傳統(tǒng)優(yōu)化方法

一般針對(duì)結(jié)構(gòu)化問(wèn)題，有較為明確的問(wèn)題和條件描述；大多屬于凸優(yōu)化范疇，有唯一明確的全局最優(yōu)點(diǎn)；一般是確定性算法，有固定的結(jié)構(gòu)和參數(shù)，計(jì)算復(fù)雜度和收斂性可做理論分析。02智能優(yōu)化算法

一般針對(duì)較為普適的問(wèn)題描述，缺乏問(wèn)題的結(jié)構(gòu)性信息；絕大多數(shù)屬于多極值問(wèn)題，旨在防止陷入局部最優(yōu)，盡可能找到全局最優(yōu)；屬于啟發(fā)性算法范疇，收斂速度較慢，計(jì)算復(fù)雜度較高。3.1.1傳統(tǒng)優(yōu)化方法與智能優(yōu)化算法及其區(qū)別——智能算法的主要特點(diǎn)010203040506

是一類不確定的優(yōu)化算法。不確定性體現(xiàn)了自然界生物的生理機(jī)制，并且在求解某些問(wèn)題時(shí)優(yōu)于確定性算法。

在復(fù)雜的、不確定的、時(shí)變的物流與供應(yīng)鏈的問(wèn)題環(huán)境中，能通過(guò)自我學(xué)習(xí)不斷提高個(gè)體的適應(yīng)性。

搜索過(guò)程同時(shí)從多點(diǎn)出發(fā)，分布式并行計(jì)算模式極大地提高了整個(gè)算法的運(yùn)行效率、魯棒性和反應(yīng)能力，具有很好的學(xué)習(xí)能力。

是一類概率型的全局搜索算法。隨著搜索優(yōu)化過(guò)程的不斷推進(jìn)，找到優(yōu)質(zhì)解的概率大于得到劣質(zhì)解的概率，能以更大概率求得全局最優(yōu)解。在優(yōu)化過(guò)程中，不依賴于優(yōu)化問(wèn)題本身的某些數(shù)學(xué)特性。如目標(biāo)函數(shù)和約束條件的精確數(shù)學(xué)描述、目標(biāo)函數(shù)的連續(xù)性及可導(dǎo)性等。是一類基于多個(gè)智能體的算法。各個(gè)智能體之間通過(guò)相互協(xié)作來(lái)更好適應(yīng)環(huán)境，以獲取所需性能，具有潛在的并行性。3.1.21.遺傳算法（GA）遺傳算法對(duì)于組合優(yōu)化中的NP-hard問(wèn)題非常有效，已經(jīng)在求解旅行商問(wèn)題、背包問(wèn)題、裝箱問(wèn)題、物流配送中心選址、物流配送等方面得到了成功應(yīng)用。智能優(yōu)化方法簡(jiǎn)介——遺傳算法3.1.22.模擬退火算法（SAA）模擬退火算法也被經(jīng)常用于求解車輛路徑優(yōu)化、物流整車運(yùn)輸、物流網(wǎng)絡(luò)優(yōu)化等問(wèn)題。模擬退火算法是一種通用的優(yōu)化算法，是局部搜索算法的擴(kuò)展。它與局部搜索算法的不同之處在于以一定的概率選擇鄰域中目標(biāo)值大的狀態(tài)。智能優(yōu)化方法簡(jiǎn)介——模擬退火算法3.1.23.禁忌搜索算法（TS）禁忌搜索算法的主要特點(diǎn)是在搜索過(guò)程中可以接受劣解，因此具有較強(qiáng)的“爬山”能力；同時(shí)，新解不是在當(dāng)前解的鄰域中隨機(jī)產(chǎn)生，而或是優(yōu)于“bestsofar”的解，或是非禁忌的最佳解，因此選取優(yōu)良解的概率遠(yuǎn)遠(yuǎn)大于其他解。智能優(yōu)化方法簡(jiǎn)介——禁忌搜索算法3.1.24.蟻群算法（ACO）現(xiàn)代物流系統(tǒng)中蟻群算法的應(yīng)用主要集中在物流配送路徑優(yōu)化問(wèn)題中,通過(guò)應(yīng)用蟻群算法可降低物流成本、提高經(jīng)濟(jì)效益。智能優(yōu)化方法簡(jiǎn)介——蟻群算法3.1.25.免疫算法免疫算法（IA）是模仿生物免疫機(jī)制，結(jié)合基因的進(jìn)化機(jī)理，人工構(gòu)造出的一種新型智能搜索算法。相比較于其他算法，免疫算法利用自身產(chǎn)生多樣性和維持機(jī)制，保證了種群的多樣性，克服了一般尋優(yōu)過(guò)程中不可避免的“早熟”問(wèn)題，可求得全局最優(yōu)解。智能優(yōu)化方法簡(jiǎn)介——免疫算法3.1.3車輛路徑問(wèn)題（VRP）在某個(gè)貨物的供求物流系統(tǒng)中，有若干個(gè)裝貨節(jié)點(diǎn)和多個(gè)卸貨節(jié)點(diǎn)，要求合理安排車輛的行車路線和旅行時(shí)間，從而在滿足一定約束條件下，如貨物需求量、車輛容量、單次最大行駛距離、時(shí)間窗限制等，把客戶需求的貨物從配送中心運(yùn)送到客戶所在地，并實(shí)現(xiàn)一定的優(yōu)化目標(biāo)，如費(fèi)用最省、行駛里程最短、所需車輛數(shù)最少等。智能算法在物流與供應(yīng)鏈中的應(yīng)用——車輛路徑問(wèn)題3.1.3物流配送中心選址問(wèn)題配送中心是物流系統(tǒng)中的一個(gè)重要節(jié)點(diǎn)。配送中心通過(guò)集貨、揀選、配裝和送貨等活動(dòng)可獲得規(guī)模效應(yīng)、減少流通環(huán)節(jié)和上下游的庫(kù)存等。作為企業(yè)物流系統(tǒng)規(guī)劃或優(yōu)化的首要問(wèn)題，配送中心選址的合理與否至關(guān)重要。配送中心的選址決策主要是確定配送中心的數(shù)量、位置和分配方案。其方法主要有傳統(tǒng)的重心法、數(shù)學(xué)規(guī)劃法、多準(zhǔn)則法等，但隨著供應(yīng)鏈網(wǎng)絡(luò)的急劇擴(kuò)張，全球性、全國(guó)性的配送中心的選址問(wèn)題變得越來(lái)越復(fù)雜，采用啟發(fā)式算法進(jìn)行優(yōu)化計(jì)算成為研究熱點(diǎn)。智能算法在物流與供應(yīng)鏈中的應(yīng)用——物流配送中心選址問(wèn)題3.1.3汽車零配件供應(yīng)鏈中的循環(huán)取貨問(wèn)題在目前汽車裝配廠的前端零配件供應(yīng)物流中，常采用多頻少批、循環(huán)取貨的物料供應(yīng)方式。這里的循環(huán)取貨就是運(yùn)輸卡車依據(jù)生產(chǎn)訂單安排，從汽車整車裝配廠出發(fā)，沿著一定的固定路徑線路，也就是每次取貨的路徑路線是相同的，前往此條路線上的所有供應(yīng)商處依次進(jìn)行零部件的取貨作業(yè)，然后再返回汽車總裝配廠，就算完成了一次取貨的供應(yīng)過(guò)程。因?yàn)檫@種供應(yīng)循環(huán)取貨問(wèn)題考慮因素多，傳統(tǒng)優(yōu)化方法無(wú)法處理大規(guī)模的這種問(wèn)題，常會(huì)采用智能計(jì)算算法，如遺傳算法等，來(lái)進(jìn)行所有優(yōu)化求解。智能算法在物流與供應(yīng)鏈中的應(yīng)用——汽車零配件供應(yīng)鏈中的循環(huán)取貨問(wèn)題3.2云計(jì)算及其在智慧物流與供應(yīng)鏈中的應(yīng)用3.2.1云計(jì)算的概念與特點(diǎn)云計(jì)算的概念云計(jì)算的特征與優(yōu)勢(shì)3.2.2云計(jì)算的框架結(jié)構(gòu)及其作用云計(jì)算的概念模型云計(jì)算的分層服務(wù)模式云計(jì)算的部署模式3.2.3云計(jì)算在智慧物流與供應(yīng)鏈中的應(yīng)用云計(jì)算在智慧物流中的應(yīng)用云計(jì)算在智慧供應(yīng)鏈中的應(yīng)用3.2.1云計(jì)算的概念與特點(diǎn)——云計(jì)算的概念（重點(diǎn)）目前為止，業(yè)界對(duì)云計(jì)算的定義已有上百種，尚沒(méi)有一個(gè)統(tǒng)一的定義。云計(jì)算行業(yè)的領(lǐng)先者如Google、Microsoft等IT廠商及研究機(jī)構(gòu)，依據(jù)各自的利益和各自不同的研究視角給出了對(duì)云計(jì)算的定義和理解。隨著云計(jì)算的發(fā)展，維基百科對(duì)云計(jì)算的最新定義是：“云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)各種終端和其他設(shè)備，使用服務(wù)商提供的電腦基建作計(jì)算和資源?！备爬ǘ?，云計(jì)算作為一種獨(dú)特的IT服務(wù)模式，其本質(zhì)是一種服務(wù)提供模型，通過(guò)這種模型可以隨時(shí)、隨地、按需地通過(guò)網(wǎng)絡(luò)訪問(wèn)共享資源池里可被動(dòng)態(tài)分配、靈活劃分和調(diào)整的資源，這個(gè)資源池的內(nèi)容包括計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源等。3.2.1云計(jì)算的概念與特點(diǎn)——云計(jì)算的特征與優(yōu)勢(shì)云計(jì)算的特征

云計(jì)算的五個(gè)特征能夠快速地將云計(jì)算系統(tǒng)同傳統(tǒng)計(jì)算機(jī)系統(tǒng)區(qū)分開來(lái)，具體包括以下特征：01廣泛的網(wǎng)絡(luò)訪問(wèn)方式02按需自助服務(wù)03資源池化04快速可伸縮性05可計(jì)量的服務(wù)3.2.1云計(jì)算的概念與特點(diǎn)——云計(jì)算的特征與優(yōu)勢(shì)云計(jì)算的優(yōu)勢(shì)

與傳統(tǒng)計(jì)算機(jī)系統(tǒng)相比，云計(jì)算還具有以下優(yōu)勢(shì)：010203040506具有大規(guī)模并行計(jì)算能力高性價(jià)比通用性數(shù)據(jù)量巨大并且增速迅猛虛擬化高可靠性3.2.2云計(jì)算的框架結(jié)構(gòu)及其作用——云計(jì)算的概念模型云計(jì)算包含了多層面含義，業(yè)務(wù)實(shí)現(xiàn)的概念模型可以概括為：用戶的公共性設(shè)備的多樣性商業(yè)模式的服務(wù)性提供方式的靈活性3.2.2云計(jì)算的框架結(jié)構(gòu)及其作用——云計(jì)算的分層服務(wù)模式

位于最底層的IaaS為用戶提供直接訪問(wèn)底層實(shí)體或虛擬的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源的服務(wù)。IaaS層引用虛擬化技術(shù)將服務(wù)器等計(jì)算平臺(tái)同存儲(chǔ)和網(wǎng)絡(luò)資源打包，通過(guò)API接口的形式提供給用戶。用戶不需再租用機(jī)房、維護(hù)服務(wù)器和交換機(jī)，只需購(gòu)買IaaS服務(wù)就能夠獲得這些資源?；A(chǔ)架構(gòu)即服務(wù)，也叫IaaS

位于IaaS之上的PaaS為程序開發(fā)者提供應(yīng)用程序部署與管理服務(wù)，主要包括并行程序設(shè)計(jì)和開發(fā)環(huán)境、結(jié)構(gòu)化海量數(shù)據(jù)的分布式存儲(chǔ)管理系統(tǒng)、海量數(shù)據(jù)分布式文件系統(tǒng)以及實(shí)現(xiàn)云計(jì)算的其他系統(tǒng)管理工具。平臺(tái)即服務(wù)，也叫PaaS

位于最上層的SaaS為企業(yè)和需要軟件應(yīng)用的用戶提供基于互聯(lián)網(wǎng)的軟件應(yīng)用服務(wù)和用戶交互接口等。軟件即服務(wù)，也叫SaaS3.2.2云計(jì)算的框架結(jié)構(gòu)及其作用——云計(jì)算的部署模式（1）公有云：提供面向社會(huì)大眾、公共群體的云計(jì)算服務(wù)。公有云一般規(guī)模較大，規(guī)模共享經(jīng)濟(jì)性較好，對(duì)可靠性、安全性的要求較高，但基礎(chǔ)架構(gòu)的組成往往也比較復(fù)雜，存在難以保證數(shù)據(jù)私密性的缺點(diǎn)。（4）混合云：包含上述兩種以上云計(jì)算類型的混合式云平臺(tái)。具備更大的靈活性和可擴(kuò)展性，能夠更好地應(yīng)對(duì)需求的快速變化。

（3）社區(qū)云：提供面向社團(tuán)組織內(nèi)有共同目標(biāo)、利益的用戶群體使用的云計(jì)算服務(wù)。（2）私有云：提供面向企業(yè)或組織內(nèi)的云計(jì)算服務(wù)。私有云可較好地解決數(shù)據(jù)私密性問(wèn)題，對(duì)數(shù)據(jù)私密性要求特別高的行業(yè)或組織，建設(shè)私有云將是一個(gè)必然的選擇。3.2.3云計(jì)算在智慧物流與供應(yīng)鏈中的應(yīng)用——云計(jì)算在智慧物流中的應(yīng)用當(dāng)前，物流企業(yè)對(duì)智慧物流的需求主要包括物流數(shù)據(jù)、物流云、物流設(shè)備三大領(lǐng)域。云物流服務(wù)平臺(tái)是以云計(jì)算和大數(shù)據(jù)為支撐下的操作平臺(tái)，它將云物流服務(wù)提供端提供的物流資源進(jìn)行整合，針對(duì)云物流服務(wù)請(qǐng)求端提出的個(gè)性化服務(wù)需求在“資源池”中進(jìn)行檢索和匹配，通過(guò)信息的配對(duì)達(dá)成共同意向，建立適合客戶的個(gè)性化服務(wù)解決方案并進(jìn)行物流云調(diào)度，同時(shí)在服務(wù)過(guò)程中對(duì)服務(wù)質(zhì)量進(jìn)行管理和監(jiān)控，為雙方創(chuàng)造不斷優(yōu)化的服務(wù)質(zhì)量和服務(wù)價(jià)值，降低物流產(chǎn)業(yè)鏈運(yùn)營(yíng)成本，提高物流運(yùn)作效率。3.2.3云計(jì)算在智慧物流與供應(yīng)鏈中的應(yīng)用——云計(jì)算在智慧供應(yīng)鏈中的應(yīng)用在信息技術(shù)助推下，如今的供應(yīng)鏈已發(fā)展到智慧供應(yīng)鏈階段，逐步實(shí)現(xiàn)業(yè)務(wù)全流程的數(shù)字化和網(wǎng)絡(luò)化。新興技術(shù)在供應(yīng)鏈中的滲透日益增強(qiáng)，形成云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、5G網(wǎng)絡(luò)等在內(nèi)的智慧供應(yīng)鏈技術(shù)支撐體系。在云計(jì)算模式下，所有的供應(yīng)鏈節(jié)點(diǎn)通過(guò)云計(jì)算供應(yīng)鏈平臺(tái)進(jìn)行連接，使供應(yīng)鏈的信息傳遞方式由線性轉(zhuǎn)變?yōu)榉蔷€性關(guān)系?；谠朴?jì)算平臺(tái)強(qiáng)大的運(yùn)算能力，處理大規(guī)模集成的供應(yīng)鏈信息，實(shí)現(xiàn)跨級(jí)的信息實(shí)時(shí)共享、上下游交易可視化和交易全過(guò)程的監(jiān)控和管理。3.3大數(shù)據(jù)技術(shù)及其在智慧物流與供應(yīng)鏈中的應(yīng)用3.3.1大數(shù)據(jù)技術(shù)的概念與特點(diǎn)大數(shù)據(jù)技術(shù)的概念大數(shù)據(jù)技術(shù)的特點(diǎn)3.3.2大數(shù)據(jù)的關(guān)鍵技術(shù)及其價(jià)值大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)大數(shù)據(jù)計(jì)算技術(shù)3.3.3大數(shù)據(jù)在物流與供應(yīng)鏈中的應(yīng)用在零售端的應(yīng)用在制造端的應(yīng)用在供應(yīng)鏈系統(tǒng)中的應(yīng)用3.3.1大數(shù)據(jù)的概念隨著技術(shù)的發(fā)展而發(fā)展，目前對(duì)大數(shù)據(jù)的定義也有多種。維基百科上給出的大數(shù)據(jù)概念為：大數(shù)據(jù)又稱為巨量資料，指的是傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理它們的、大或復(fù)雜的數(shù)據(jù)集。此外，大數(shù)據(jù)也可以定義為來(lái)自各種來(lái)源的大量非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)通常包含的數(shù)據(jù)量超出了傳統(tǒng)軟件在人們可接受的時(shí)間內(nèi)進(jìn)行處理的能力。智庫(kù)百科的定義為：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括了大規(guī)模并行處理數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)及可擴(kuò)展的存儲(chǔ)系統(tǒng)。大數(shù)據(jù)技術(shù)的概念與特點(diǎn)——大數(shù)據(jù)技術(shù)的概念（難點(diǎn)）3.3.1大數(shù)據(jù)技術(shù)的概念與特點(diǎn)——大數(shù)據(jù)技術(shù)的特點(diǎn)（難點(diǎn)）指的是數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。（1）Volume（大量）表明數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。（2）Velocity（高速）說(shuō)明大數(shù)據(jù)的種類和來(lái)源多樣化。（3）Variety（多樣）表明大數(shù)據(jù)的價(jià)值密度相對(duì)較低。（4）Value（低價(jià)值密度）代表大數(shù)據(jù)技術(shù)要保證數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。（5）Veracity（真實(shí)性）3.3.1阿里對(duì)大潤(rùn)發(fā)的數(shù)字化改造2017年11月20日，阿里集團(tuán)合計(jì)投資224億港元入主高鑫零售(大潤(rùn)發(fā)母公司)，占股36.16%。阿里戰(zhàn)略投資大潤(rùn)發(fā)并幫助其進(jìn)行新零售數(shù)字化改造，其核心力量源于阿里強(qiáng)大的大數(shù)據(jù)技術(shù)能力，期望為線下零售業(yè)的轉(zhuǎn)型和發(fā)展提供借鑒參考。在接受阿里投資半年后，大潤(rùn)發(fā)已有100家門店完成了新零售數(shù)字化改造，實(shí)現(xiàn)3公里范圍1小時(shí)送達(dá)，并全面加入天貓618狂歡節(jié)。大潤(rùn)發(fā)數(shù)字化改造的重點(diǎn)內(nèi)容有:(1)淘鮮達(dá)項(xiàng)目落地，大潤(rùn)發(fā)門店周圍3公里的消費(fèi)者均可線上下單，1小時(shí)內(nèi)收到商品。(2)借鑒盒馬鮮生的模式，在生鮮餐飲和物流配送方面進(jìn)行升級(jí)，縮短了從下單出貨到配送的時(shí)間。(3)借助大數(shù)據(jù)技術(shù)陳列商品，基于大數(shù)據(jù)分析將熱門商品擺放在醒目位置，通過(guò)后臺(tái)數(shù)據(jù)查看每日銷量以進(jìn)行每日微調(diào)、每周大調(diào)，保證商品及時(shí)進(jìn)出。(4)推出智能購(gòu)物區(qū)，大潤(rùn)發(fā)率先在上海楊浦店推出“天貓智能母區(qū)”以實(shí)現(xiàn)貨品的跨界升級(jí)。智能專區(qū)的設(shè)立可以幫助后臺(tái)更好地統(tǒng)計(jì)消費(fèi)數(shù)據(jù)，以便消費(fèi)者求，進(jìn)行精準(zhǔn)營(yíng)銷。(5)黑科技的運(yùn)用。部分大潤(rùn)發(fā)門店通過(guò)配置天貓?jiān)曝浖?、天貓智能試衣魔鏡和智能試衣間，打造沉漫式和趣味性的購(gòu)物場(chǎng)量，為客戶帶來(lái)更佳的購(gòu)物體驗(yàn)，以吸引更多消費(fèi)者。大數(shù)據(jù)技術(shù)的概念與特點(diǎn)——案例3.3.2大數(shù)據(jù)預(yù)處理技術(shù)包括以下幾個(gè)方面。（1）數(shù)據(jù)采集。（2）數(shù)據(jù)存取。（3）基礎(chǔ)架構(gòu)支持。（4）計(jì)算結(jié)果展現(xiàn)。大數(shù)據(jù)的關(guān)鍵技術(shù)及其價(jià)值——大數(shù)據(jù)預(yù)處理技術(shù)3.3.2數(shù)據(jù)存儲(chǔ)技術(shù)在應(yīng)用過(guò)程中主要使用的對(duì)象是臨時(shí)文件在加工過(guò)程中形成的一種數(shù)據(jù)流，通過(guò)基本信息的查找，依照某種格式，將數(shù)據(jù)記錄和存儲(chǔ)在計(jì)算機(jī)外部存儲(chǔ)介質(zhì)和內(nèi)部存儲(chǔ)介質(zhì)上。大數(shù)據(jù)的關(guān)鍵技術(shù)及其價(jià)值——大數(shù)據(jù)存儲(chǔ)技術(shù)3.3.2大數(shù)據(jù)結(jié)構(gòu)復(fù)雜，數(shù)據(jù)構(gòu)成中更多的是非結(jié)構(gòu)化數(shù)據(jù)，單純靠數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析已經(jīng)不太適用，所以需要技術(shù)的創(chuàng)新，這就產(chǎn)生了大數(shù)據(jù)分析技術(shù)，主要包括：數(shù)據(jù)處理主要采用自然語(yǔ)言處理技術(shù)、多媒體內(nèi)容識(shí)別技術(shù)、圖文轉(zhuǎn)換技術(shù)和地理信息技術(shù)等來(lái)處理各種數(shù)據(jù)。統(tǒng)計(jì)和分析包括應(yīng)用文本情感分析技術(shù)；語(yǔ)義分析技術(shù)、A/Btest、topN排行榜、地域占比等技術(shù)來(lái)實(shí)施分析。數(shù)據(jù)挖掘常采用諸如關(guān)聯(lián)規(guī)則分析、分類與聚類分析、智能優(yōu)化算法等。模型預(yù)測(cè)諸如各類預(yù)測(cè)模型、機(jī)器學(xué)習(xí)模型、建模仿真工具及其模式識(shí)別技術(shù)等。大數(shù)據(jù)的關(guān)鍵技術(shù)及其價(jià)值——大數(shù)據(jù)分析技術(shù)3.3.2大數(shù)據(jù)計(jì)算技術(shù)可分為批處理計(jì)算和流處理計(jì)算，批處理計(jì)算主要操作大容量、靜態(tài)的數(shù)據(jù)集，并在計(jì)算過(guò)程完成后返回結(jié)果，適用于需要計(jì)算全部數(shù)據(jù)后才能完成的計(jì)算工作；而流處理計(jì)算會(huì)對(duì)隨時(shí)進(jìn)入的數(shù)據(jù)進(jìn)行計(jì)算，流處理計(jì)算無(wú)須對(duì)整個(gè)數(shù)據(jù)集執(zhí)行操作，而是對(duì)通過(guò)傳輸?shù)拿總€(gè)數(shù)據(jù)項(xiàng)執(zhí)行操作，處理結(jié)果立刻可用，并會(huì)隨著新數(shù)據(jù)的抵達(dá)繼續(xù)更新結(jié)果。大數(shù)據(jù)的關(guān)鍵技術(shù)及其