NoSQL產(chǎn)品性能評(píng)測(cè)

NoSQL產(chǎn)品性能評(píng)測(cè)2012-12-05楊琪科目的NoSQL產(chǎn)品的介紹。NoSQL產(chǎn)品的性能對(duì)比測(cè)試。具體的一個(gè)網(wǎng)站作為案列，分享下Redis,Memcache,Mongodb的使用情況和碰到的問(wèn)題。NoSQL產(chǎn)品列表MemcacheRedisMongdbOracleTimesTenHBaseNoSQL-MemcacheMemcache是什么？Memcache有什么特點(diǎn)？Memcache在什么場(chǎng)景下適用？Memcache具體怎么用？在用Memcache中碰到的問(wèn)題？Memcache是什么Memcache是個(gè)高性能的基于內(nèi)存的分布式緩存系統(tǒng)，Memcache的分布式是基于客戶端的Key的hash來(lái)做均衡，是個(gè)偽分布式的系統(tǒng)。Memcache有2個(gè)組件，一個(gè)客戶端（java），一個(gè)服務(wù)器端c編寫。Memcache的特點(diǎn)基于內(nèi)存（但是重啟了后，數(shù)據(jù)丟失）。提供簡(jiǎn)單的get,set方法。緩存對(duì)象只能小于1M。安裝，使用比較簡(jiǎn)單。Memcache的使用場(chǎng)景中小型網(wǎng)站應(yīng)用中來(lái)存放非可靠性的只讀數(shù)據(jù)。例如存放用戶的信息。網(wǎng)站的計(jì)數(shù)。數(shù)據(jù)庫(kù)DAO前的行記錄緩存。全局的代碼參數(shù)。Memcache具體怎么用安裝libevent安裝wget/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gztar-zxvflibevent-2.0.21-stable.tar.gz./configure-prefix=/usrmakemakeinstallMemcache具體怎么用memcache安裝wget/files/memcached-1.4.15.tar.gztar-zxvfmemcached-1.4.15.tar.gz./configure-with-libevent=/usrmakemakeinstallMemcache的啟動(dòng)參數(shù)啟動(dòng)./memcached-d-m10240-p11211-uroot啟動(dòng)參數(shù)啟動(dòng)參數(shù)說(shuō)明-d選項(xiàng)是啟動(dòng)一個(gè)守護(hù)進(jìn)程，后臺(tái)掛起跑-m是分配給Memcache使用的內(nèi)存數(shù)量，單位是MB-u是運(yùn)行Memcache的用戶-l是監(jiān)聽的服務(wù)器IP地址，如果有多個(gè)地址的話，-p是設(shè)置Memcache監(jiān)聽的端口-c選項(xiàng)是最大運(yùn)行的并發(fā)連接數(shù)，默認(rèn)是1024，-P是設(shè)置保存Memcache的pid文件關(guān)閉killallmemcachedMemcache-Java客戶端Java客戶端操作作MemcacheMemcache中碰到的問(wèn)問(wèn)題Memcache無(wú)文件備份份機(jī)制，機(jī)機(jī)器重啟，，數(shù)據(jù)掉失失。只能存放1M的內(nèi)容，有有一定的局局限性。偽分布式存存儲(chǔ)，JAVA客戶端做HASH的路由，節(jié)點(diǎn)的增加加和宕機(jī)都都是會(huì)造成成數(shù)據(jù)的掉掉失。只提供了核核心的2個(gè)get/set命令，無(wú)其其他豐富的的API節(jié)點(diǎn)的增加加和減少導(dǎo)導(dǎo)致的數(shù)據(jù)據(jù)問(wèn)題Hash一致性問(wèn)題題解決方案1主從模式，，主從模式式之間保持持?jǐn)?shù)據(jù)同步步.2一致性Hash算法.3Redis來(lái)代替Memcache.Hash一致性Hash一致性NoSQL-RedisRedis是什么？Redis能干嗎？Redis有什么特點(diǎn)點(diǎn)？Redis在什么場(chǎng)景景下適用？？Redis具體怎么用用？在用Redis中碰到的問(wèn)問(wèn)題？Redis是什么？Redis是一個(gè)用用c語(yǔ)言寫的類類似Memcache的key-value的存儲(chǔ)系統(tǒng)統(tǒng)，它比Memcache提供了更多多的API接口和更好好的并發(fā)性性能，可以以支持10萬(wàn)并發(fā)的讀讀寫，建議議用Redis代替Memcahe。Redis是基于內(nèi)存存的，因此此部署Redis的機(jī)器對(duì)于于內(nèi)存是非非常有高的的要求的，，Redis是會(huì)把數(shù)據(jù)據(jù)實(shí)時(shí)寫到到內(nèi)存中，，再定時(shí)同同步到文件件。Redis能干嘛？Redis可以當(dāng)作數(shù)數(shù)據(jù)庫(kù)來(lái)用用，但是有有缺陷，在在可靠性上上，沒有Oracle關(guān)系型數(shù)據(jù)據(jù)庫(kù)來(lái)的穩(wěn)穩(wěn)定?？梢宰鳛槌殖志脤拥腃ache層?？梢跃従彺嫦旅娴牡臄?shù)據(jù)庫(kù)結(jié)結(jié)構(gòu)。計(jì)數(shù)排行榜樣，，最新瀏覽覽的數(shù)據(jù)隊(duì)列（訂閱閱關(guān)系）Redis能干嘛？Redis可以當(dāng)作數(shù)數(shù)據(jù)庫(kù)來(lái)用用，但是有有缺陷，在在可靠性上上，沒有Oracle關(guān)系型數(shù)據(jù)據(jù)庫(kù)來(lái)的穩(wěn)穩(wěn)定?？梢宰鳛槌殖志脤拥腃ache層?？梢跃従彺嫦旅娴牡臄?shù)據(jù)庫(kù)結(jié)結(jié)構(gòu)。計(jì)數(shù)排行榜樣，，最新瀏覽覽的數(shù)據(jù)隊(duì)列（訂閱閱關(guān)系）Redis特點(diǎn)？完全居于內(nèi)內(nèi)存，數(shù)據(jù)據(jù)實(shí)時(shí)的讀讀寫內(nèi)存，，定時(shí)閃回回到文件中中讀寫速度快快支持高并發(fā)發(fā)量，官方方宣傳支持持10萬(wàn)級(jí)別的并并發(fā)讀寫支持機(jī)器重重啟后的，，重新加載載模式，不不會(huì)掉數(shù)據(jù)據(jù)Redis適用場(chǎng)景？？在非可靠數(shù)數(shù)據(jù)存儲(chǔ)中中，可以作作為數(shù)據(jù)持持久層或者者是數(shù)據(jù)緩緩存區(qū)。對(duì)于讀寫壓壓力比較大大，實(shí)時(shí)性性要求比較較高的場(chǎng)景景下。關(guān)系型數(shù)據(jù)據(jù)庫(kù)不能勝勝任的模型型下的場(chǎng)景景。例如在SNS中訂閱關(guān)系系。Redis具體用法？？安裝，啟動(dòng)動(dòng)，關(guān)閉，，配置,Java訪問(wèn)操作安裝$tarxzfredis-2.6.7.tar.gz$cdredis-2.6.7$makeinstallRedis–啟動(dòng)&關(guān)閉啟動(dòng)./src/redis-server/etc/redis.conf&關(guān)閉./src/redis-clishutdownRedis的配置-基本配置Redis的核心配置置文件，只只有一個(gè)，，就是redis.conf文件，下面面是列舉了了核心的配配置項(xiàng)。

配置項(xiàng)

值字段意義daemonizeno或者yes是不是需要在后臺(tái)運(yùn)行pidfile/var/run/redis.pidpid文件port6379啟動(dòng)端口bind

綁定IP，只有制定的IP地址才能夠訪問(wèn)redis實(shí)例timeout0一個(gè)客戶端空閑多少秒后關(guān)閉連接databases16數(shù)據(jù)庫(kù)數(shù)loglevelDebugVerboseNoticewarningdebug開發(fā)和測(cè)試的時(shí)候配置verbose比debug信息少點(diǎn)notice基本信息，生產(chǎn)環(huán)境建議配置這個(gè)warning嚴(yán)重錯(cuò)誤的時(shí)候Redis的配置-快照配置

配置項(xiàng)

值字段意義save9001指出在多長(zhǎng)時(shí)間內(nèi)，有多少次更新操作，就將數(shù)據(jù)同步到數(shù)據(jù)文件rdb,在15分鐘內(nèi)，有1個(gè)key被改變就同步到文件中去rdbcompressionyes當(dāng)導(dǎo)出到.rdb數(shù)據(jù)庫(kù)時(shí)是否用LZF壓縮字符串對(duì)象rdbchecksumyes存儲(chǔ)和加載rdb文件時(shí)校驗(yàn)dbfilenamedump.rdb數(shù)據(jù)庫(kù)的文件名dir./工作目錄Redis的配置-同步配置

配置項(xiàng)

值字段意義slaveof6379主服務(wù)器地址masterauth<master-password>從服務(wù)器連接主服務(wù)器的時(shí)候的密碼slave-serve-stale-dataYes/no當(dāng)從庫(kù)正在做復(fù)制的同步工作的時(shí)候，從庫(kù)的工作模式，配置成yes了后繼續(xù)相應(yīng)客戶的請(qǐng)求，配置成no了后，不相應(yīng)客戶的請(qǐng)求。slave-read-onlyyes配置從庫(kù)為只讀模式，這個(gè)屬性只需要在主庫(kù)上配置，在從庫(kù)上配置沒什么意義的repl-ping-slave-period10從庫(kù)定時(shí)向主庫(kù)發(fā)送Ping的命令repl-timeout60從庫(kù)定時(shí)向主庫(kù)發(fā)送Ping的命令的超時(shí)時(shí)間slave-priority100如果主庫(kù)掛了的，會(huì)尋找找一個(gè)slave-priority最小的一個(gè)，來(lái)變成主庫(kù)。Redis的配置-安全配置

配置項(xiàng)

值字段意義requirepassfoobaredredis的密碼，可以理解成Oracle數(shù)據(jù)庫(kù)的連接密碼一樣的。maxclients10000最大連接數(shù)maxmemory<bytes>最大內(nèi)存數(shù)，給Redis使用的最大內(nèi)存數(shù)。maxmemory-policyvolatile-lruvolatile-randomallkeys->randomvolatile-ttlnoeviction當(dāng)Redis已經(jīng)存到最大內(nèi)存數(shù)的時(shí)候，這個(gè)時(shí)候 Redis使用的策略，下面是5個(gè)策略。volatile-lru->根據(jù)LRU算法生成的過(guò)期時(shí)間來(lái)刪除。allkeys-lru->根據(jù)LRU算法刪除任何key。volatile-random->根據(jù)過(guò)期設(shè)置來(lái)隨機(jī)刪除key。allkeys->random->無(wú)差別隨機(jī)刪。volatile-ttl->根據(jù)最近過(guò)期時(shí)間來(lái)刪除（輔以TTL）noeviction->誰(shuí)也不刪，直接在寫操作時(shí)返回錯(cuò)誤Redis的配置-數(shù)據(jù)追加配配置

配置項(xiàng)

值字段意義appendonlynoRedis是異步的把數(shù)據(jù)寫到文件中去的，有時(shí)候機(jī)器重啟會(huì)導(dǎo)致正在寫入的數(shù)據(jù)丟失掉的，如果appendonly屬性配置成yes了后，Redis會(huì)把數(shù)據(jù)實(shí)時(shí)的寫到appendonly.aof文件中去，一旦Redis重啟的時(shí)候,就會(huì)加載這個(gè)文件的,那樣的話,數(shù)據(jù)就不會(huì)丟掉了的.appendfilenameappendonly.aof累加文件名字appendfsyncNoAlwayseverysecalways馬上立即寫到操作系統(tǒng)的文件中去,準(zhǔn)確性最高,但是代價(jià)也是最高的,速度比較慢了的,并且是IO開銷是非常高的，配置成no不是立刻寫，everysec每秒寫一次no-appendfsync-on-rewriteno當(dāng)Aoflog進(jìn)行重寫時(shí)，是否寫日志時(shí)fsyncauto-aof-rewrite-percentage100當(dāng)日志文件超過(guò)原始的日志文件的多少的時(shí)候，就開啟重寫機(jī)制auto-aof-rewrite-min-size64M這次寫入大小，超過(guò)多少大小了后，就開啟重寫機(jī)制Java操作RedisJava客戶端別表表Jedis官方推薦Jredis推薦JDBC-Jredis不推薦RJC不推薦Redis-protocol不推薦Java操作RedisRedisSelect*fromtablewhereuserIdin(1,2,3,4,5,6,7,8,9,10,1000)Redis高級(jí)特性主從模式復(fù)復(fù)制。發(fā)布訂閱模模式。NoSQL-MongodbMongodb是什么？Mongodb能干嗎？Mongodb有什么特點(diǎn)點(diǎn)？Mongodb在什么場(chǎng)景景下適用？？Mongodb具體怎么用用？Mongdb是什么？Mongodb是一個(gè)底層層用C++語(yǔ)言編寫的的一個(gè)分布布式文件存存儲(chǔ)系統(tǒng)，，可以簡(jiǎn)單單的理解成成一個(gè)類Mysql數(shù)據(jù)庫(kù)的分分布式文件件系統(tǒng)。Mongodb底層是用C++語(yǔ)言編寫的的。一個(gè)分布式式的文件存存儲(chǔ)系統(tǒng)Mongdb能干嘛？Mongdb特點(diǎn)？天生有分布布式的優(yōu)點(diǎn)點(diǎn)（最強(qiáng)的的一個(gè)優(yōu)點(diǎn)點(diǎn)）。海量文件，，文本類型型數(shù)據(jù)的存存儲(chǔ)。性能卓越的的海量數(shù)據(jù)據(jù)的存儲(chǔ)情情況下的讀讀寫性能。。Mongodb適用場(chǎng)景？？MySQL的代替品或或者是半代代替品（對(duì)對(duì)復(fù)雜查詢?cè)円蟛桓吒叩那闆r下下）讀壓力比寫寫的壓力大大的情況下下的文件和和文本類型型的數(shù)據(jù)，，并且數(shù)據(jù)據(jù)量比較大大。Mongdb具體用法？？安裝，啟動(dòng)動(dòng)，關(guān)閉，，配置,Java訪問(wèn)操作安裝解壓縮tar––xzvfmongodb-linux-i686-2.2.2.tgz新建數(shù)據(jù)庫(kù)庫(kù)目錄mkdir–p/data/dbMongdb–啟動(dòng)&關(guān)閉啟動(dòng)./mongod&關(guān)閉服務(wù)端關(guān)閉閉沒有掛起跑跑的話直直接ctrl+c掛起跑的話話的話直直接kill進(jìn)程號(hào)客戶端關(guān)閉閉db.shutdownerver()Java操作MongodbJava客戶端列表表mongo-java-driver/mongodb/mongo-java-driverJava操作Mongodb連接Mongodb,新建集合，，插入文檔檔，查詢文文檔，刪除除文檔Java操作MongodbNoSQL-OracleTimesTenTimesTen是什么？TimesTen能干嗎？TimesTen有什么特點(diǎn)點(diǎn)？TimesTen在什么場(chǎng)景景下適用？？TimesTen具體怎么用用？在用TimesTen中碰到的問(wèn)問(wèn)題？OracleTimesTen是什么OracleTimesTen是HP實(shí)驗(yàn)室人員員在1992年做的一個(gè)個(gè)內(nèi)存數(shù)據(jù)據(jù)庫(kù)產(chǎn)品，，后來(lái)惠普普實(shí)驗(yàn)室的的人成立了了TimesTen公司，Oracle在2005年的時(shí)候把把TimesTen收購(gòu)了的。。OracleTimesTen特點(diǎn)及時(shí)響應(yīng)完完全居于于內(nèi)存，對(duì)對(duì)于CPU,磁盤的IO壓力非常低低。支持持事事物物兼容容標(biāo)標(biāo)準(zhǔn)準(zhǔn)SQL高性性能能高可可用用性性主從從模模式式TT的物物理理組組成成TT物理理結(jié)結(jié)構(gòu)構(gòu)Sharedlibraries:共享享庫(kù)庫(kù)：：可可以以理理解解為為訪訪問(wèn)問(wèn)數(shù)數(shù)據(jù)據(jù)的的驅(qū)驅(qū)動(dòng)動(dòng)程程序序內(nèi)存存中中的的數(shù)數(shù)據(jù)據(jù)結(jié)結(jié)構(gòu)構(gòu)：：表表，，索索引引在在內(nèi)內(nèi)存存的的數(shù)數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)進(jìn)進(jìn)程程：：管理理程程序序：：備備份份程程序序磁盤盤上上的的檢檢查查點(diǎn)點(diǎn)和和日日志志文文件件：：數(shù)數(shù)據(jù)據(jù)和和日日志志存存入入到到磁磁盤盤文文件件上上。。TT的2個(gè)高高級(jí)級(jí)特特性性復(fù)制制負(fù)載載均均衡衡TimesTen復(fù)制制OracleTimesTen適用用場(chǎng)場(chǎng)景景OracleTimesTen特點(diǎn)點(diǎn)完全全居居于于內(nèi)內(nèi)存存，，對(duì)對(duì)于于CPU,磁盤盤的的IO壓力力非非常常低低。。支持持事事物物兼容容標(biāo)標(biāo)準(zhǔn)準(zhǔn)SQLOracleTimesTen安裝裝腳腳本本tar––zxvftimesten112241.linux86.tar.gz解壓縮縮文文件件./setup啟動(dòng)動(dòng)安安裝裝文文件件一一路路enter回車車就就可可以以了了的的安裝裝后后的的進(jìn)進(jìn)程程查查看看，，一一共共有有4個(gè)進(jìn)進(jìn)程程。。啟動(dòng)動(dòng)./ttdaemonadmin–start關(guān)閉閉./ttdaemonadmin-stopNoSQL-HBaseHBase是什什么么？？HBase有什什么么特特點(diǎn)點(diǎn)？？HBase在什什么么場(chǎng)場(chǎng)景景下下適適用用？？HBase具體體怎怎么么用用？？在用用HBase中碰碰到到的的問(wèn)問(wèn)題題？？HBase是什什么么？？Hbase是個(gè)個(gè)分分布布式式的的面面向向列列的的非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)，，是是Hadoop的子子項(xiàng)項(xiàng)目目。。HBase是GoogleBigtable的開開源源實(shí)實(shí)現(xiàn)現(xiàn)。。HBase利用用HadoopHDFS作為為其其文文件件存存儲(chǔ)儲(chǔ)系系統(tǒng)統(tǒng)。。HBase利用用HadoopMapReduce來(lái)處處理理HBase中的的海海量量數(shù)數(shù)據(jù)據(jù)。。HBase利用用Zookeeper來(lái)管管理理。。HBase能干干嘛嘛？？作為為存存儲(chǔ)儲(chǔ)層層來(lái)來(lái)存存儲(chǔ)儲(chǔ)非非可可靠靠性性的的海海量量數(shù)數(shù)據(jù)據(jù)，，如如日日志志，，評(píng)評(píng)論論，，訪訪問(wèn)問(wèn)記記錄錄HBase特點(diǎn)點(diǎn)？？高可可靠靠性性高效效性性面向向列列可伸伸縮縮可在在廉廉價(jià)價(jià)PCServer搭建建大大規(guī)規(guī)模模結(jié)結(jié)構(gòu)構(gòu)化化存存儲(chǔ)儲(chǔ)集集群群HBase適用用場(chǎng)場(chǎng)景景？？數(shù)據(jù)據(jù)量量巨巨大大，，千千萬(wàn)萬(wàn)或或者者是是億億級(jí)級(jí)別別以以上上。。實(shí)時(shí)時(shí)性性要要求求不不高高，，比比如如離離線線計(jì)計(jì)算算。。Hbase體系系結(jié)結(jié)構(gòu)構(gòu)HBase具體體用用法法？？