《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項(xiàng)目五 深入半結(jié)構(gòu)化數(shù)據(jù)存儲

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目五深入半結(jié)構(gòu)化存儲任務(wù)一走進(jìn)半結(jié)構(gòu)化存儲技術(shù)什么是結(jié)構(gòu)化數(shù)據(jù)？什么是MPP？結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？Hadoop？回顧任務(wù)引入-云數(shù)據(jù)庫TencentDBforRedis騰訊云數(shù)據(jù)庫Redis（TencentDBforRedis）是騰訊云打造的兼容Redis協(xié)議的緩存和存儲服務(wù)。豐富的數(shù)據(jù)結(jié)構(gòu)能幫助您完成不同類型的業(yè)務(wù)場景開發(fā)。支持主從熱備，提供自動容災(zāi)切換、數(shù)據(jù)備份、故障遷移、實(shí)例監(jiān)控、在線擴(kuò)容、數(shù)據(jù)回檔等全套的數(shù)據(jù)庫服務(wù)。任務(wù)描述:本節(jié)從半結(jié)構(gòu)化數(shù)據(jù)入手，闡述了半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)和NoSQL技術(shù)，最后對NoSQL的典型代表Redis和MongoDB數(shù)據(jù)庫進(jìn)行了簡單的描述。任務(wù)教學(xué)目標(biāo)：了解NoSQL數(shù)據(jù)存儲。掌握Redis內(nèi)存數(shù)據(jù)庫技術(shù)。掌握Elasticsearch存儲技術(shù)。任務(wù)概要教學(xué)內(nèi)容半結(jié)構(gòu)化數(shù)據(jù)概述半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)一二NoSQL概述NoSQL代表三四半結(jié)構(gòu)化數(shù)據(jù)概述知識點(diǎn)一半結(jié)構(gòu)化數(shù)據(jù)存儲概述半結(jié)構(gòu)化數(shù)據(jù)具有一定的結(jié)構(gòu)，但不如結(jié)構(gòu)化數(shù)據(jù)那樣完整、規(guī)則和固定。半結(jié)構(gòu)化數(shù)據(jù)具備如下特點(diǎn)：一是隱含的模式信息；二是不規(guī)則的結(jié)構(gòu)；三是沒有嚴(yán)格的類型約束。半結(jié)構(gòu)化數(shù)據(jù)存儲概述大數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)存儲對數(shù)據(jù)存儲技術(shù)提出了新的需求：一是存儲容量的可擴(kuò)展性和易擴(kuò)展性；二是存儲技術(shù)應(yīng)用場景的多樣性；三是存儲數(shù)據(jù)的快速訪問能力；四是存儲技術(shù)處理半結(jié)構(gòu)化數(shù)據(jù)的能力。半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)知識點(diǎn)二

安裝依賴（53&54）本項(xiàng)目從半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的特征和需求出發(fā)，概括性地闡述了半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)，然后詳細(xì)介紹了典型的半結(jié)構(gòu)化大數(shù)據(jù)存儲技術(shù)，即NoSQL存儲技術(shù)和ElasticSearch存儲技術(shù)，著重講解了存儲技術(shù)的概念、特點(diǎn)、安裝部署與基本操作，并通過應(yīng)用實(shí)例詮釋了大數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的應(yīng)用實(shí)踐。通過本項(xiàng)目的學(xué)習(xí)，幫助讀者掌握大數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)及其應(yīng)用的技能。半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)NoSQL概述知識點(diǎn)三

安裝依賴（53&54）NoSQL是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)設(shè)計(jì)方式，是對非關(guān)系型數(shù)據(jù)庫的統(tǒng)稱，它所采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。NoSQL數(shù)據(jù)庫沒有固定的表結(jié)構(gòu)，通常也不存在連接操作，也沒有嚴(yán)格遵守ACID約束。（一）NoSQL概述

安裝依賴（53&54）（二）NoSQL的四大類型

安裝依賴（53&54）（三）NoSQL的三個基石

安裝依賴（53&54）（四）數(shù)據(jù)庫產(chǎn)品演變

安裝依賴（53&54）（五）數(shù)據(jù)庫產(chǎn)品分類NoSQL代表知識點(diǎn)四

安裝依賴（53&54）NoSQL代表任務(wù)小結(jié)本任務(wù)介紹了NoSQL數(shù)據(jù)庫的相關(guān)知識。NoSQL數(shù)據(jù)庫較好地滿足了大數(shù)據(jù)時代的各種非結(jié)構(gòu)化數(shù)據(jù)的存儲需求，開始得到越來越廣泛的應(yīng)用。但是，傳統(tǒng)的關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫各有所長，彼此都有各自的市場空間，不存在一方完全取代另一方的問題，在很長的一段時期內(nèi)，二者都會共同存在，滿足不同應(yīng)用的差異化需求。NoSQL數(shù)據(jù)庫主要包括鍵值數(shù)據(jù)庫、列族數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫4種類型，不同產(chǎn)品都有各自的應(yīng)用場合。CAP、BASE和最終一致性是NoSQL數(shù)據(jù)庫的三大理論基石，是理解NoSQL數(shù)據(jù)庫的基礎(chǔ)。擴(kuò)展訓(xùn)練Redis獨(dú)立學(xué)習(xí)Redis是一個開源（BSD許可）的，內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng)，它可以用作數(shù)據(jù)庫、緩存和消息中間件。它支持多種類型的數(shù)據(jù)結(jié)構(gòu)，如：字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）與范圍查詢，bitmaps，hyperloglogs和地理空間（geospatial）索引半徑查詢。Redis內(nèi)置了復(fù)制（replication），LUA腳本（Luascripting），LRU驅(qū)動事件（LRUeviction），事務(wù)（transactions）和不同級別的磁盤持久化（persistence），并通過Redis哨兵（Sentinel）和自動分區(qū)（Cluster）提供高可用性（highavailability）。閱讀：/1.什么是半結(jié)構(gòu)化數(shù)據(jù)？2.半結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)構(gòu)成？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目五深入半結(jié)構(gòu)化存儲任務(wù)二解析Redis內(nèi)存數(shù)據(jù)庫技術(shù)什么是半結(jié)構(gòu)化數(shù)據(jù)？什么是NoSQL？半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的構(gòu)成？Hadoop？回顧任務(wù)引入-云數(shù)據(jù)庫TencentDBforRedis騰訊云數(shù)據(jù)庫Redis（TencentDBforRedis）是騰訊云打造的兼容Redis協(xié)議的緩存和存儲服務(wù)。豐富的數(shù)據(jù)結(jié)構(gòu)能幫助您完成不同類型的業(yè)務(wù)場景開發(fā)。支持主從熱備，提供自動容災(zāi)切換、數(shù)據(jù)備份、故障遷移、實(shí)例監(jiān)控、在線擴(kuò)容、數(shù)據(jù)回檔等全套的數(shù)據(jù)庫服務(wù)。任務(wù)描述:本節(jié)將系統(tǒng)的學(xué)習(xí)Redis內(nèi)存數(shù)據(jù)庫技術(shù)。任務(wù)教學(xué)目標(biāo)：了解Redis。掌握Redis安裝部署。掌握Redis數(shù)據(jù)類型、Redis數(shù)據(jù)操作。任務(wù)概要教學(xué)內(nèi)容Redis概述數(shù)據(jù)類型一二Redis數(shù)據(jù)操作Redis應(yīng)用場景三四Redis概述知識點(diǎn)一

安裝依賴（53&54）Redis使用內(nèi)存中的數(shù)據(jù)集。根據(jù)實(shí)際應(yīng)用場景，Redis可以將內(nèi)存中的數(shù)據(jù)保存在磁盤中，系統(tǒng)重啟的時候可以再次加載；如果只需要一個功能豐富、聯(lián)網(wǎng)的內(nèi)存緩存，還可以禁用持久性；Redis不僅支持簡單的鍵-值類型的數(shù)據(jù)，還支持列表、集合、哈希等數(shù)據(jù)結(jié)構(gòu)；Redis支持主-從模式的數(shù)據(jù)備份。（一）Redis概述

安裝依賴（53&54）（二）Redis安裝配置[root@zte~]#cd/usr/local/[root@ztelocal]#lsbingamesliblibexecsbinsrcetcincludelib64redis-3.2.7.tar.gzshare[root@ztelocal]#tar-zxfredis-3.2.7.tar.gz[root@ztelocal]#mvredis-3.2.7redis[root@ztelocal]#lsbingamesliblibexecredis-3.2.7.tar.gzshareetcincludelib64redissbinsrc

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#makecdsrc&&makeallmake[1]:Enteringdirectory`/usr/local/redis/src'CCadlist.o/bin/sh:cc:commandnotfoundmake[1]:***[adlist.o]Error127make[1]:Leavingdirectory`/usr/local/redis/src'make:***[all]Error2

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#yum-yinstallgcc

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#makecdsrc&&makeallmake[1]:Enteringdirectory`/usr/local/redis/src'CCadlist.oInfileincludedfromadlist.c:34:0:zmalloc.h:50:31:fatalerror:jemalloc/jemalloc.h:Nosuchfileordirectory#include<jemalloc/jemalloc.h>^compilationterminated.make[1]:***[adlist.o]Error1make[1]:Leavingdirectory`/usr/local/redis/src'make:***[all]Error2

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#makeMALLOC=libccdsrc&&makeallmake[1]:Enteringdirectory`/usr/local/redis/src'rm-rfredis-serverredis-sentinelredis-cliredis-benchmarkredis-check-rdbredis-check-aof*.o*.gcda*.gcno*.gcovlcov-html(cd../deps&&makedistclean)make[2]:Enteringdirectory`/usr/local/redis/deps'(cdhiredis&&makeclean)>/dev/null||true(cdlinenoise&&makeclean)>/dev/null||true(cdlua&&makeclean)>/dev/null||true(cdgeohash-int&&makeclean)>/dev/null||true(cdjemalloc&&[-fMakefile]&&makedistclean)>/dev/null||true(rm-f.make-*)make[2]:Leavingdirectory`/usr/local/redis/deps'(rm-f.make-*)echoSTD=-std=c99-pedantic-DREDIS_STATIC=>>.make-settingsechoWARN=-Wall-W>>.make-settingsechoOPT=-O2>>.make-settingsechoMALLOC=libc>>.make-settingsechoCFLAGS=>>.make-settingsechoLDFLAGS=>>.make-settingsechoREDIS_CFLAGS=>>.make-settingsechoREDIS_LDFLAGS=>>.make-settingsechoPREV_FINAL_CFLAGS=-std=c99-pedantic-DREDIS_STATIC=-Wall-W-O2-g-ggdb-I../deps/geohash-int-I../deps/hiredis-I../deps/linenoise-I../deps/lua/src>>.make-settingsechoPREV_FINAL_LDFLAGS=-g-ggdb-rdynamic>>.make-settings(cd../deps&&makehiredislinenoiseluageohash-int)………..[省略]Hint:It'sagoodideatorun'maketest';)make[1]:Leavingdirectory`/usr/local/redis/src'

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#makeinstallcdsrc&&makeinstallmake[1]:Enteringdirectory`/usr/local/redis/src'Hint:It'sagoodideatorun'maketest';)INSTALLinstallINSTALLinstallINSTALLinstallINSTALLinstallINSTALLinstallmake[1]:Leavingdirectory`/usr/local/redis/src'

安裝依賴（53&54）（二）Redis安裝配置[root@zteredis]#src/redis-server2763:C29Aug14:47:01.143#Warning:noconfigfilespecified,usingthedefaultconfig.Inordertospecifyaconfigfileusesrc/redis-server/path/to/redis.conf2763:M29Aug14:47:01.143*Increasedmaximumnumberofopenfilesto10032(itwasoriginallysetto1024)._.__.-``__''-.__.-```.`_.''-._Redis3.2.7(00000000/0)64bit.-``.-```.```\/_.,_''-._(',.-`|`,)Runninginstandalonemode|`-._`-...-`__...-.``-._|'`_.-'|Port:6379|`-._`._/_.-'|PID:2763`-._`-._`-./_.-'_.-'|`-._`-._`-.__.-'_.-'_.-'||`-._`-.__.-'_.-'|http://redis.io`-._`-._`-.__.-'_.-'_.-'|`-._`-._`-.__.-'_.-'_.-'||`-._`-.__.-'_.-'|`-._`-._`-.__.-'_.-'_.-'`-._`-.__.-'_.-'`-.__.-'`-.__.-'2763:M29Aug14:47:01.145#WARNING:TheTCPbacklogsettingof511cannotbeenforcedbecause/proc/sys/net/core/somaxconnissettothelowervalueof128.2763:M29Aug14:47:01.145#Serverstarted,Redisversion3.2.72763:M29Aug14:47:01.145#WARNINGovercommit_memoryissetto0!Backgroundsavemayfailunderlowmemorycondition.Tofixthisissueadd'vm.overcommit_memory=1'to/etc/sysctl.confandthenrebootorrunthecommand'sysctlvm.overcommit_memory=1'forthistotakeeffect.2763:M29Aug14:47:01.146#WARNINGyouhaveTransparentHugePages(THP)supportenabledinyourkernel.ThiswillcreatelatencyandmemoryusageissueswithRedis.Tofixthisissuerunthecommand'echonever>/sys/kernel/mm/transparent_hugepage/enabled'asroot,andaddittoyour/etc/rc.localinordertoretainthesettingafterareboot.RedismustberestartedafterTHPisdisabled.2763:M29Aug14:47:01.146*Theserverisnowreadytoacceptconnectionsonport6379數(shù)據(jù)類型知識點(diǎn)二

安裝依賴（53&54）（一）Redis數(shù)據(jù)類型Redis支持五種數(shù)據(jù)類型：string（字符串）hash（哈希）list（列表）set（集合）zset（sortedset：有序集合）。

安裝依賴（53&54）（二）stringstring是redis最基本的類型，string可以存儲任何數(shù)據(jù)。如圖片或者序列化的對象。該類型的值最大能存儲512MB。redis:6379>SETstr"您好！"OKredis:6379>GETstr"您好！"

安裝依賴（53&54）(二)RedishashRedishash是一個鍵值(key=>value)對集合。Redishash是一個string類型的field和value的映射表，hash特別適合用于存儲對象。

安裝依賴（53&54）（三）Redis列表Redis列表是簡單的字符串列表，按照插入順序排序?？梢蕴砑右粋€元素到列表的頭部（左邊）或者尾部（右邊）。

安裝依賴（53&54）（四）SetRedis的Set是string類型的無序集合。

安裝依賴（53&54）（五）Rediszset和setRediszset和set一樣也是string類型元素的集合，且不允許重復(fù)的成員。不同的是每個元素都會關(guān)聯(lián)一個double類型的分?jǐn)?shù)。redis正是通過分?jǐn)?shù)來為集合中的成員進(jìn)行從小到大的排序。zset的成員是唯一的，但分?jǐn)?shù)（score）卻可以重復(fù)。

安裝依賴（53&54）（六）RedisGeo存儲地理位置信息RedisGeo存儲地理位置信息，該功能從Redis3.2版本新增。RedisGeo操作方法有：geoadd：增加地理位置坐標(biāo)；geopos：獲取地理位置坐標(biāo)；geodist：計(jì)算兩個點(diǎn)之間的距離；georadius：根據(jù)指定的經(jīng)緯度坐標(biāo)來獲取指定范圍內(nèi)的地理位置集合；georadiusbymember：根據(jù)儲存在位置集合里的某個點(diǎn)獲取指定范圍內(nèi)的地理位置集合；geohash：返回一個或多個位置對象的geohash值，見圖geoadd添加地理位置信息。RedisGeoAPI可以直接實(shí)現(xiàn)檢索附近的車輛、附近的酒店等功能。

安裝依賴（53&54）（六）RedisGeo存儲地理位置信息Redis數(shù)據(jù)操作知識點(diǎn)三

安裝依賴（53&54）Redis數(shù)據(jù)操作:6379>setCourse:1000000002:CNameLinux系統(tǒng)管理OK:6379>getCourse:1000000002:CNameLinux系統(tǒng)管理:6379>delCourse:1000000002:CName1:6379>getCourse:1000000002:CName:6379>Redis應(yīng)用場景知識點(diǎn)四））

安裝依賴（53&54）（一）熱點(diǎn)數(shù)據(jù)緩存由于redis訪問速度塊、支持的數(shù)據(jù)類型比較豐富，所以redis很適合用來存儲熱點(diǎn)數(shù)據(jù)，另外結(jié)合expire，我們可以設(shè)置過期時間然后再進(jìn)行緩存更新操作，這個功能最為常見，我們幾乎所有的項(xiàng)目都有所運(yùn)用。

安裝依賴（53&54）（二）限時業(yè)務(wù)的運(yùn)用redis中可以使用expire命令設(shè)置一個鍵的生存時間，到時間后redis會刪除它。利用這一特性可以運(yùn)用在限時的優(yōu)惠活動信息、手機(jī)驗(yàn)證碼等業(yè)務(wù)場景。

安裝依賴（53&54）（三）計(jì)數(shù)器相關(guān)問題redis由于incrby命令可以實(shí)現(xiàn)原子性的遞增，所以可以運(yùn)用于高并發(fā)的秒殺活動、分布式序列號的生成、具體業(yè)務(wù)還體現(xiàn)在比如限制一個手機(jī)號發(fā)多少條短信、一個接口一分鐘限制多少請求、一個接口一天限制調(diào)用多少次等。

安裝依賴（53&54）（四）排行榜相關(guān)問題關(guān)系型數(shù)據(jù)庫在排行榜方面查詢速度普遍偏慢，所以可以借助redis的SortedSet進(jìn)行熱點(diǎn)數(shù)據(jù)的排序。任務(wù)小結(jié)本節(jié)系統(tǒng)學(xué)習(xí)了Redis內(nèi)存數(shù)據(jù)庫技術(shù)，Redis是一個由ANSIC語言編寫開源的非關(guān)系型數(shù)據(jù)庫，遵守BSD開源協(xié)議。Redis性能極高、豐富的數(shù)據(jù)類型、有豐富的特性。Redis有非常廣泛的應(yīng)用場景。如：應(yīng)用RedisGeo查找附近的車輛、附近的酒店等。擴(kuò)展訓(xùn)練Redis獨(dú)立學(xué)習(xí)Redis是一個開源（BSD許可）的，內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng)，它可以用作數(shù)據(jù)庫、緩存和消息中間件。它支持多種類型的數(shù)據(jù)結(jié)構(gòu)，如：字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）與范圍查詢，bitmaps，hyperloglogs和地理空間（geospatial）索引半徑查詢。Redis內(nèi)置了復(fù)制（replication），LUA腳本（Luascripting），LRU驅(qū)動事件（LRUeviction），事務(wù)（transactions）和不同級別的磁盤持久化（persistence），并通過Redis哨兵（Sentinel）和自動分區(qū)（Cluster）提供高可用性（highavailability）。閱讀：/1.什么是Redis？2.Redis的安裝和部署？3.Redis的數(shù)據(jù)類型？4.Redis的典型應(yīng)用場景有哪些？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目五深入半結(jié)構(gòu)化存儲任務(wù)三解析ElasticSearch存儲技術(shù)什么是Redis？Redis的數(shù)據(jù)類型有哪些？Redis的get和set操作？Redis的應(yīng)用場景？回顧任務(wù)引入-Elasticsearch原型環(huán)境和生產(chǎn)環(huán)境可無縫切換；無論Elasticsearch是在一個節(jié)點(diǎn)上運(yùn)行，還是在一個包含300個節(jié)點(diǎn)的集群上運(yùn)行，您都能夠以相同的方式與Elasticsearch進(jìn)行通信。它能夠水平擴(kuò)展，每秒鐘可處理海量事件，同時能夠自動管理索引和查詢在集群中的分布方式，以實(shí)現(xiàn)極其流暢的操作。任務(wù)描述:本節(jié)主要講解ElasticSearch存儲技術(shù)，包括：ElasticSearch存儲的概念、特點(diǎn)；安裝配置與操作，并結(jié)合實(shí)際案例詮釋ElasticSearch技術(shù)在半結(jié)構(gòu)化大數(shù)據(jù)方面的應(yīng)用。任務(wù)教學(xué)目標(biāo)：理解Elasticsearch概念、特點(diǎn)。掌握Elasticsearch安裝部署。掌握Elasticsearch操作、應(yīng)用。任務(wù)概要教學(xué)內(nèi)容Elasticsearch概述Elasticsearch安裝部署一二Elasticsearch應(yīng)用案例三ElasticSearch概述知識點(diǎn)一ElasticSearch概述ElasticSearch是一個基于Lucene的搜索服務(wù)器，Elasticsearch是一個分布式、可擴(kuò)展、實(shí)時的搜索與數(shù)據(jù)分析引擎?；贘ava程序語言開發(fā)，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級搜索引擎，能夠在不同的平臺上運(yùn)行。

安裝依賴（53&54）ElasticSearch支持RESTfulWeb接口，應(yīng)用系統(tǒng)可以通過Java、.NET（C#）、PHP、Python、ApacheGroovy、Ruby等程序語言訪問ElasticSearch服務(wù)。ElasticSearch概述

安裝依賴（53&54）ElasticSearch典型應(yīng)用場景包括：全文檢索、結(jié)構(gòu)化搜索、數(shù)據(jù)分析以及這三個功能應(yīng)用的組合。維基百科使用ElasticSearch提供帶有高亮片段的全文搜索；GitHub使用E