大數(shù)據(jù)學(xué)習(xí)資源匯總

大數(shù)據(jù)學(xué)習(xí)資源匯總當(dāng)前，整個(gè)互聯(lián)網(wǎng)正在從IT時(shí)代向DT時(shí)代演進(jìn)，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開DT世界大門。當(dāng)今大數(shù)據(jù)一詞的重點(diǎn)其實(shí)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更代表著信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計(jì)算技術(shù)和信息技術(shù)帶來的技術(shù)挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來的新發(fā)明、新服務(wù)和新的發(fā)展機(jī)遇。為了幫助大家更好深入了解大數(shù)據(jù)，云棲社區(qū)組織翻譯了GitHubAwesomeBigData資源，供大家參考。本資源類型主要包括：大數(shù)據(jù)框架、論文等實(shí)用資源集合。資源列表：關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）框架分布式編程分布式文件系統(tǒng)文件數(shù)據(jù)模型Key-Map數(shù)據(jù)模型鍵-值數(shù)據(jù)模型圖形數(shù)據(jù)模型NewSQL數(shù)據(jù)庫列式數(shù)據(jù)庫時(shí)間序列數(shù)據(jù)庫類SQL處理數(shù)據(jù)攝取服務(wù)編程調(diào)度機(jī)器學(xué)習(xí)基準(zhǔn)測試安全性系統(tǒng)部署應(yīng)用程序搜索引擎與框架MySQL的分支和演化PostgreSQL的分支和演化Memcached的分支和演化嵌入式數(shù)據(jù)庫商業(yè)智能數(shù)據(jù)可視化物聯(lián)網(wǎng)和傳感器文章論文視頻關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）SQLServer:世界最有活力的數(shù)據(jù)庫；MySQL:世界最流行的開源數(shù)據(jù)庫;PostgreSQL:世界最先進(jìn)的開源數(shù)據(jù)庫:Oracle數(shù)據(jù)庫:對象-關(guān)系型數(shù)據(jù)庫管理系統(tǒng)?？蚣蹵pacheHadoop：分布式處理架構(gòu)，結(jié)合了MapReduce（并行處理）、YARN（作業(yè)調(diào)度）和HDFS（分布式文件系統(tǒng)）；Tigon:高吞吐量實(shí)時(shí)流處理框架。分布式編程AddThisHydra:最初在AddThis上開發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)；AMPLabSIMR:用在HadoopMapReducev1上運(yùn)行Spark；ApacheBeam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語言；ApacheCrunch：一個(gè)簡單的JavaAPI，用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接、數(shù)據(jù)聚合等任務(wù)；ApacheDataFu：由LinkedIn開發(fā)的針對Hadoopand和Pig的用戶定義的函數(shù)集合；ApacheFlink：具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化;ApacheGora：內(nèi)存中的數(shù)據(jù)模型和持久性框架;ApacheHama：BSP（整體同步并行）計(jì)算框架；ApacheMapReduce:在集群上使用并行、分布式算法處理大數(shù)據(jù)集的編程模型；ApachePig:Hadoop中，用于處理數(shù)據(jù)分析程序的高級查詢語言；ApacheREEF:用來簡化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評估執(zhí)行框架；ApacheS4:S4中流處理與實(shí)現(xiàn)的框架；ApacheSpark:內(nèi)存集群計(jì)算框架；ApacheSparkStreaming:流處理框架，同時(shí)是Spark的一部分；ApacheStorm:Twitter流處理框架，也可用于YARN；ApacheSamza:基于Kafka和YARN的流處理框架；ApacheTez:基于YARN，用于執(zhí)行任務(wù)中的復(fù)雜DAG（有向無環(huán)圖）；ApacheTwill基于YARN的抽象概念，用于減少開發(fā)分布式應(yīng)用程序的復(fù)雜度；Cascalog：數(shù)據(jù)處理和查詢庫;Cheetah:在MapReduce之上的高性能、自定義數(shù)據(jù)倉庫；ConcurrentCascading:在Hadoop上的數(shù)據(jù)管理/分析框架；DamballaParkour:用于Clojure的MapReduce庫；DatasaltPangool:可選擇的MapReduce范例；DataTorrentStrAM:為實(shí)時(shí)引擎，用于以盡可能暢通的方式、最小的開支和對性能最小的影響，實(shí)現(xiàn)分布式、異步、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算；FacebookCorona:為Hadoop做優(yōu)化處理，從而消除單點(diǎn)故障；FacebookPeregrine:MapReduce框架；FacebookScuba:分布式內(nèi)存數(shù)據(jù)存儲(chǔ)；GoogleDataflow:創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架；NetflixPigPen:為MapReduce，用于編譯成ApachePig；NokiaDisco:由Nokia開發(fā)的MapReduc獲取、轉(zhuǎn)換和分析數(shù)據(jù)；GoogleMapReduce:MapReduce框架；GoogleMillWheel:容錯(cuò)流處理框架；JAQL:用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語言；Kite:為一組庫、工具、實(shí)例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易；.MetamarketsDruid:用于大數(shù)據(jù)集的實(shí)時(shí)e框架；.Onyx:分布式云計(jì)算；.PinterestPinlater:異步任務(wù)執(zhí)行系統(tǒng)；.Pydoop:用于Hadoop的PythonMapReduce和HDFSAPI；.RackerlabsBlueflood:多租戶分布式測度處理系統(tǒng)；.Stratosphere通用集群計(jì)算框架；.Streamdrill:用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng)，并找到最活躍的一個(gè)；.Tuktu:易于使用的用于分批處理和流計(jì)算的平臺，通過Scala、Akka和Play所建；.TW!ie_Scadng：基于Cascading，用于MapReduce工作的Scala庫；.TwitterSummingbird:在Twitter上使用Scalding和Storm串流MapReduce；.TwitterTSAR:Twitter上的時(shí)間序列聚合器。分布式文件系統(tǒng).ApacheHDFS：在多臺機(jī)器上存儲(chǔ)大型文件的方式;.BeeGFS：以前是FhGFS，并行分布式文件系統(tǒng)；CephFilesystem:設(shè)計(jì)的軟件存儲(chǔ)平臺;.DiscoDDFS：分布式文件系統(tǒng);FacebookHaystack:對象存儲(chǔ)系統(tǒng);GoogleColossus：分布式文件系統(tǒng)(GFS2)；GoogleGFS：分布式文件系統(tǒng);GoogleMegastore:可擴(kuò)展的、高度可用的存儲(chǔ);GridGain：兼容GGFS、Hadoop內(nèi)存的文件系統(tǒng)；Lustrefilesystem：高性能分布式文件系統(tǒng);QuantcastFileSystemQFS：開源分布式文件系統(tǒng);RedHatGlusterFS：向外擴(kuò)展的附網(wǎng)存儲(chǔ)(Network-attachedStorage)文件系統(tǒng);Seaweedm：簡單的、高度可擴(kuò)展的分布式文件系統(tǒng)；AJJuxio：以可靠的存儲(chǔ)速率在跨集群框架上文件共享；Tahoe-LAFS:分布式云存儲(chǔ)系統(tǒng);文件數(shù)據(jù)模型ActianVersant:商用的面向?qū)ο髷?shù)據(jù)庫管理系統(tǒng);CrateData：是一個(gè)開源的大規(guī)?？蓴U(kuò)展的數(shù)據(jù)存儲(chǔ)，需要零管理模式;FacebookApollo：Facebook的Paxos算法，類似于NoSQL數(shù)據(jù)庫；jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ)；LinkedInEspresso：可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ)；MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫技術(shù)；MongoDB:面向文檔的數(shù)據(jù)庫系統(tǒng);RavenDB：一個(gè)事務(wù)性的，開源文檔數(shù)據(jù)庫；RethinkDB:支持連接杳詢和群組依據(jù)等杳詢的文檔型數(shù)據(jù)庫。KeyMap數(shù)據(jù)模型注意：業(yè)內(nèi)存在一些術(shù)語混亂，有兩個(gè)不同的東西都叫做列式數(shù)據(jù)庫。這里列出的有一些是圍繞key-map數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫，其中所有的數(shù)據(jù)都有（可能綜合了）鍵，并與映射中的鍵-值對相關(guān)聯(lián)。在一些系統(tǒng)中，多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián)，并且這些映射被稱為列族（具有映射值的鍵被稱為列）。另一組也可稱為列式數(shù)據(jù)庫的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組，它在磁盤上或在存儲(chǔ)器中一而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著、逐行存儲(chǔ)。這些系統(tǒng)也彼此相鄰來存儲(chǔ)所有列值，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。前一組在這里被稱為keymap數(shù)據(jù)模型，這兩者和Key-value數(shù)據(jù)模型之間的界限是相當(dāng)模糊的。后者對數(shù)據(jù)模型有更多的存儲(chǔ)格式，可在列式數(shù)據(jù)庫中列出。若想了解更多關(guān)于這兩種模型的區(qū)分，可閱讀DanielAbadi的博客：DistinguishingtwomajortypesofColumnStores。ApacheAccumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ)；ApacheCassandra：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；ApacheHBase：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；FacebookHydraBase：Facebook所開發(fā)的HBase的衍化品；GoogleBigTable：面向列的分布式數(shù)據(jù)存儲(chǔ);GoogleCloudDatastore：為完全管理型的無模式數(shù)據(jù)庫，用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù)；Hypertable：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；InfiniDB：通過MySQL的接口訪問，并使用大規(guī)模并行處理進(jìn)行并行查詢;Tephra：用于HBase處理；TwitterManhattan：Twitter的實(shí)時(shí)、多租戶分布式數(shù)據(jù)庫。鍵-值數(shù)據(jù)模型Aerospike:支持NoSQL的閃存優(yōu)化，數(shù)據(jù)存儲(chǔ)在內(nèi)存。開源，'C'（不是Java或Erlang）中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝'。AmazonDynamoDB：分布式鍵/值存儲(chǔ)，Dynamo論文的實(shí)現(xiàn)；Edis：為替代Redis的協(xié)議兼容的服務(wù)器；ElephantDB：專門研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫；EventStore：分布式時(shí)間序列數(shù)據(jù)庫:GridDB：適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù);LinkedInKrati:簡單的持久性數(shù)據(jù)存儲(chǔ)，擁有低延遲和高吞吐量；LinkedinVoldemort:分布式鍵/值式儲(chǔ)系統(tǒng):OracleNoSQLDatabase：Oracle公司開發(fā)的分布式鍵值數(shù)據(jù)庫；Reds：內(nèi)式中的鍵值數(shù)據(jù)存儲(chǔ)；Rak：分散式數(shù)據(jù)存儲(chǔ)；Storehaus：Twitter開發(fā)的異步鍵值存儲(chǔ)的庫；Tarantool：一個(gè)高效的NoSQL數(shù)據(jù)庫和Lua應(yīng)用服務(wù)器；TKV：由GoogleSpanner和HBase授權(quán)，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫；TreodeDB：可復(fù)制、共享的鍵-值存儲(chǔ)，能提供多行原子寫入。圖形數(shù)據(jù)模型ApacheGiraph：基于Hadoop的Pregel實(shí)現(xiàn)；ApacheSparkBagel：可實(shí)現(xiàn)Pregel，為Spark的一部分；AmngoDB：多層模型分布式數(shù)據(jù)庫；DGraph：一個(gè)可擴(kuò)展的、分布式、低時(shí)延、高吞吐量的圖形數(shù)據(jù)庫，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲，用于TB級的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶查詢;FacebookTAO：TAO是facebook廣泛用來存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ)；GCHQGaffer：GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架，其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù)；GoogleCayley：開源圖形數(shù)據(jù)庫:GooglePregel:圖形處理框架；GraphLabPowerGraph：核心C++GraphLabAPI和建立在GraphLabAPI之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合；GraphX：Spark中的彈性分布式圖形系統(tǒng)；Gremlin:圖形追蹤語言；Ifvoe：以RDF為中心的Map/Reduce框架；Intel6街？1^山0。"在Hadoop上構(gòu)建大規(guī)模圖形的工具；MapGraph：用于在GPU上大規(guī)模并行圖形處理；Neo4j:完全用Java寫入的圖形數(shù)據(jù)庫；OrientDB：文檔和圖形數(shù)據(jù)庫;Phoebus：大型圖形處理框架;Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫；TwitterFlockDB:分布式圖形數(shù)據(jù)庫。NewSQL數(shù)據(jù)庫ActianIngres：由商業(yè)支持，開源的SQL關(guān)系數(shù)據(jù)庫管理系統(tǒng);AmazonRedShift：基于PostgreSQL的數(shù)據(jù)倉庫服務(wù)；BayesDB：面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫；CitusDB:誦過分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL；Cockroach：可擴(kuò)展、地址可復(fù)制、交易型的數(shù)據(jù)庫;詢典：旨在產(chǎn)生可擴(kuò)展、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫；FoundationDB：由F1授意的分布式數(shù)據(jù)庫；GoogleF1：R立在Spanner上的分布式SQL數(shù)據(jù)庫；GoogleSpanner:全球性的分布式半關(guān)系型數(shù)據(jù)庫:H-Store：是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫管理系統(tǒng)，用于聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用的優(yōu)化；Haeinsa：基于Percolator，HBase的線性可擴(kuò)展多行多表交易庫；HandlerSocket：MySQL/MariaDB的NoSQL插件；InfiniSQL：無限可擴(kuò)展的RDBMS；MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫，其中有優(yōu)化的閃存列存儲(chǔ)；NuoDB：SQL/ACID兼容的分布式數(shù)據(jù)庫；OracleTimesTenin-MemoryDatabase：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)；PivotalGemFireXD：內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ)，可為內(nèi)存列表數(shù)據(jù)提供SQL接口，在HDFS中較持久化；SAPHANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)；SenseDB：分布式實(shí)時(shí)半結(jié)構(gòu)化的數(shù)據(jù)庫；Sky：用于行為數(shù)據(jù)的靈活、高性能分析的數(shù)據(jù)庫；SymmetricDS：用于文件和數(shù)據(jù)庫同步的開源軟件;Map-D：為GPU內(nèi)存數(shù)據(jù)庫，也為大數(shù)據(jù)分析和可視化平臺；TiDB：TiDB是分布式SQL數(shù)據(jù)庫，基于谷歌F1的設(shè)計(jì)靈感；VoltDB：自稱為最快的內(nèi)存數(shù)據(jù)庫。列式數(shù)據(jù)庫注意：請?jiān)阪I-值數(shù)據(jù)模型閱讀相關(guān)注釋。ColumnarStorage：解釋什么是列存儲(chǔ)以及何時(shí)會(huì)需要用到它:ActianVector：面向列的分析型數(shù)據(jù)庫:C-Store：面向列的DBMS；MonetDB：列存儲(chǔ)數(shù)據(jù)庫;Parquet：Hadoop的列存儲(chǔ)格式；PivotalGreenplum:專門設(shè)計(jì)的、專用的分析數(shù)據(jù)倉庫，類似于傳統(tǒng)的基于行的工具，提供了一個(gè)列式工具；Vetica：用來管理大規(guī)模、快速增長的大量數(shù)據(jù)，當(dāng)用于數(shù)據(jù)倉庫時(shí)，能夠提供非?？斓牟樵冃阅埽篏oogleBigQuery:谷歌的云產(chǎn)品，由其在Dremel的創(chuàng)始工作提供支持；AmazonRedshift:亞馬遜的云產(chǎn)品，它也是基于柱狀數(shù)據(jù)存儲(chǔ)后端。時(shí)間序列數(shù)據(jù)庫Cube：使用MongoDB來存儲(chǔ)時(shí)間序列數(shù)據(jù)；AxibaseTimeSeries。遙七262，住在HBase之上的分布式時(shí)間序列數(shù)據(jù)庫，它包括內(nèi)置的RuleEngine、數(shù)據(jù)預(yù)測和可視化；Heroic：基于Cassandra和Elasticsearch的可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫；InfluxDB：分布式時(shí)間序列數(shù)據(jù)庫;Kairosdb:類似于OpenTSDB但會(huì)考慮到Cassandra；OpenTSDB：在HBase上的分布式時(shí)間序列數(shù)據(jù)庫；Prometheus：一種時(shí)間序列數(shù)據(jù)庫和服務(wù)監(jiān)測系統(tǒng);Newts：一種基于ApacheCassandra的時(shí)間序列數(shù)據(jù)庫。類SQL處理ActianSQLforHadoop：高性能交互式的SQL，可訪問所有的Hadoop數(shù)據(jù)；Apache。州：由Dremel授意的交互式分析框架；ApacheHCatalog：Hadoop的表格和存儲(chǔ)管理層；ApacheHive：Hadoop的類SQL數(shù)據(jù)倉庫系統(tǒng)；EheOptiq：一種框架，可允許高效的查詢翻譯，其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢；ApachePhoenix：ApachePhoenix是HBase的SQL驅(qū)動(dòng)；ClouderaImpala：由Dremel授意的交互式分析框架；ConcurrentLingual：Cascading中的類SQL查詢語言；DatasaltSploutSQL：用于大數(shù)據(jù)集的完整的SQL查詢工具；FacebookPrestoDB：分布式SQL查詢工具；GoogleBigQuery:交互式分析框架，Dremel的實(shí)現(xiàn)；PivotalHAWQ：Hadoop的類SQL的數(shù)據(jù)倉庫系統(tǒng)；RainstorDB:用于存儲(chǔ)大規(guī)模PB級結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫；SparkCatalyst：用于Spark和Shark的查詢優(yōu)化框架；SparkSQL：使用Spark操作結(jié)構(gòu)化數(shù)據(jù)；SpliceMachine：一個(gè)全功能的Hadoop上的SQLRDBMS,并帶有ACID事務(wù)；Stinger：用于Hive的交互式查詢；Tajo：Hadoop的分布式數(shù)據(jù)倉庫系統(tǒng)；Trafodion：為企業(yè)級的SQL-on-HBase針對大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負(fù)載的解決方案。數(shù)據(jù)攝取AmazonKinesis：大規(guī)模數(shù)據(jù)流的實(shí)時(shí)處理;ApacheChukwa:數(shù)據(jù)采集系統(tǒng);ApacheFlume:管理大量日志數(shù)據(jù)的服務(wù)；ApacheKafka：分布式發(fā)布-訂閱消息系統(tǒng);ApacheSqoop：在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)之間傳送數(shù)據(jù)的工具；ClouderaMorphlines:幫助Solr、HBase和HDFS完成ETL的框架；FacebookScribe:流日志數(shù)據(jù)聚合器;Fluentd:采集事件和日志的工具;GooglePhoton：實(shí)時(shí)連接多個(gè)數(shù)據(jù)流的分布式計(jì)算機(jī)系統(tǒng)，具有高可擴(kuò)展性和低延遲性；Heka：開源流處理軟件系統(tǒng)；HHQ：用Hadoop連接不同數(shù)據(jù)源的框架；Kestrel：分布式消息隊(duì)列系統(tǒng)；LinkedInDatabus：對數(shù)據(jù)庫更改捕獲的事件流;LinkedInKamikaze：壓縮已分類整型數(shù)組的程序包;LinkedInWhiteElephant：日志聚合器和儀表板;Logsash：用于管理事件和日志的工具；NetflixSuro：像基于Chukwa的Storm和Samza一樣的日志聚合器；PinterestSecor:是實(shí)現(xiàn)Kafka日志持久性的服務(wù)；LinkedinGobblin：LinkedIn的通用數(shù)據(jù)攝取框架；Skizze：是一種數(shù)據(jù)存儲(chǔ)略圖，使用概率性數(shù)據(jù)結(jié)構(gòu)來處理計(jì)數(shù)、略圖等相關(guān)的問題；StreamSetsDataCollector：連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施，可簡單地使用IDE。服務(wù)編程AkkaToolkit：JVM中分布性、容錯(cuò)事件驅(qū)動(dòng)應(yīng)用程序的運(yùn)行時(shí)間；ApacheAvro:數(shù)據(jù)序列化系統(tǒng);ApacheCurator：ApacheZooKeeper的Java庫；ApacheKaraf:在任何OSGi框架之上運(yùn)行的OSGi運(yùn)行時(shí)間；ApacheThrift：構(gòu)建二進(jìn)制協(xié)議的框架;ApacheZookeeper：流程管理集中式服務(wù);GoogleChubby：一種松耦合分布式系統(tǒng)鎖服務(wù);LinkedinNorbert:集群管理器;OpenMPI:消息傳涕框架；Serf：服務(wù)發(fā)現(xiàn)和協(xié)調(diào)的分散化解決方案；SpotifyLuigi：一種構(gòu)建批處理作業(yè)的復(fù)雜管道的Python包，它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問題；SpingXD：數(shù)據(jù)攝取、實(shí)時(shí)分析、批量處理和數(shù)據(jù)導(dǎo)出的分布式、可擴(kuò)展系統(tǒng)；TwitterElephantBird：LZO壓縮數(shù)據(jù)的工作庫；TwitterFinagle：JVM的異步網(wǎng)絡(luò)堆棧。調(diào)度ApacheAurora：在ApacheMesos之上運(yùn)行的服務(wù)調(diào)度程序;ApacheFalcon:數(shù)據(jù)管理框架；ApacheOozie：工作流作業(yè)調(diào)度程序；Chronos:分布式容錯(cuò)調(diào)度;LinkedinAzkaban：&處理工作流作業(yè)調(diào)度;Schedoscope：Hadoop作業(yè)敏捷調(diào)度的ScalaDSL；Sparrow:調(diào)度平臺;Afw：一個(gè)以編程方式編寫、調(diào)度和監(jiān)控工作流的平臺。機(jī)器學(xué)習(xí)?ApacheMahout：Hadoop的機(jī)器學(xué)習(xí)庫;brain：JavaScript中的神經(jīng)網(wǎng)絡(luò);ClouderaOryx:實(shí)時(shí)大規(guī)模機(jī)器學(xué)習(xí):ConcurrentPattern：Cascading的機(jī)器學(xué)習(xí)庫；convnetjs：Javascript中的機(jī)器學(xué)習(xí)，在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（或普通網(wǎng)絡(luò)）；Decider：Ruby中靈活、可擴(kuò)展的機(jī)器學(xué)習(xí)；ENCOG：支持多種先進(jìn)算法的機(jī)器學(xué)習(xí)框架，同時(shí)支持類的標(biāo)準(zhǔn)化和處理數(shù)據(jù)；etcML：機(jī)器學(xué)習(xí)文本分類;EtsyConjecture：Scalding中可擴(kuò)展的機(jī)器學(xué)習(xí)；GoogleSibyl：Google中的大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)；GraphLabCreate：Python的機(jī)器學(xué)習(xí)平臺，包括ML工具包、數(shù)據(jù)工程和部署工具的廣泛集合；H2O：Hadoop統(tǒng)計(jì)性的機(jī)器學(xué)習(xí)和數(shù)學(xué)運(yùn)行時(shí)間；MLbase：用于BDAS堆棧的分布式機(jī)器學(xué)習(xí)庫；MLPNeuralNet:針對iOS和MacOSX的快速多層感知神經(jīng)網(wǎng)絡(luò)庫；MonkeyLearn：使文本挖掘更為容易，從文本中提取分類數(shù)據(jù);地pic：智能計(jì)算的Numenta平臺，它是一個(gè)啟發(fā)大腦的機(jī)器智力平臺，基于皮質(zhì)學(xué)習(xí)算法的精準(zhǔn)的生物神經(jīng)網(wǎng)絡(luò)；PredictionIO—建于Hadoop、Mahout和Cascading上的機(jī)器學(xué)習(xí)服務(wù)器；SAMOA：分布式流媒體機(jī)器學(xué)習(xí)框架:scikit-learn：scikit-learn為Python中的機(jī)器學(xué)習(xí)；SparkMLlib：Spark中一些常用的機(jī)器學(xué)習(xí)（ML）功能的實(shí)現(xiàn)；VowpalWabbit:微軟和雅虎發(fā)起的學(xué)習(xí)系統(tǒng);WEKA：機(jī)器學(xué)習(xí)軟件套件；BidMach：CPU和加速GPU的機(jī)器學(xué)習(xí)庫?；鶞?zhǔn)測試ApacheHadoopBenchmarking：測試Hadoop性能的微基準(zhǔn);BerkeleySWIMBenchmark：現(xiàn)實(shí)大數(shù)據(jù)工作負(fù)載基準(zhǔn)測試:IntelHiBench：Hadoop基準(zhǔn)測試套件；PUMABenchmarking：MapReduce應(yīng)用的基準(zhǔn)測試套件；YahooGridmix3：雅虎工程師團(tuán)隊(duì)的Hadoop集群基準(zhǔn)測試。安全性ApacheKnoxGateway：Hadoop集群安全訪問的單點(diǎn);ApacheSentry:存儲(chǔ)在Hadoop的數(shù)據(jù)安全模塊。系統(tǒng)部署ApacheAmbari：Hadoop管理的運(yùn)作框架；ApacheBigtop：Hadoop生態(tài)系統(tǒng)的部署框架；ApacheHelix:集群管理框架;ApacheMesos:集群管理器;ApacheSlider：一種YARN應(yīng)用，用來部署YARN中現(xiàn)有的分布式應(yīng)用程序;ApacheWhirr：運(yùn)行云服務(wù)的庫集;ApacheYARN：集群管理器;Brooklyn：用于簡化應(yīng)用程序部署和管理的庫；Buildoop：基于Groovy語言，和ApacheBigTop類似；ClouderaHUE：和HHadoop進(jìn)行交互的Web應(yīng)用程序；FacebookPrism：多數(shù)據(jù)中心復(fù)制系統(tǒng);GoogleBorg：作業(yè)調(diào)度和監(jiān)控系統(tǒng);GoogleOmega：作業(yè)調(diào)度和監(jiān)控系統(tǒng);HortonworksHOYA：可在YARN上部署HBase集群的應(yīng)用；Marathon：用于長期運(yùn)行服務(wù)的Mesos框架。應(yīng)用程序Adobespindle:使用Scala、Spark和Parquet處理的下一代web分析;ApacheKiji：基于HBase，實(shí)時(shí)采集和分析數(shù)據(jù)的框架；ApacheNutch:開源網(wǎng)絡(luò)爬蟲;ApacheOODT：用于NASA科學(xué)檔案中數(shù)據(jù)的捕獲、處理和共享；ApacheTika:內(nèi)容分析工具包;Argus:時(shí)間序列監(jiān)測和報(bào)警平臺:Countly：基于Node.js和MongoDB，開源的手機(jī)和網(wǎng)絡(luò)分析平臺；Domino:運(yùn)行、規(guī)劃、共享和部署模型——沒有任何基礎(chǔ)設(shè)施；EclipseB舊「基于Eclipse的報(bào)告系統(tǒng)；Eventhub:開源的事件分析平臺;Hermes：建于Kafka上的異步消息代理；HlELLibrary：在Hadoop'sMapReduce上執(zhí)行圖像處理任務(wù)的API；Hunk：Hadoop的Splunk分析；Imhotep：大規(guī)模分析平臺;MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫；KyUn：來自eBay的開源分布式分析工具；PivotalR：PivotalHD/HAWQ和PostgreSQL中的R；。皿］￡：為自動(dòng)縮放Hadoop集群，內(nèi)置的數(shù)據(jù)連接器；Sfinse：用于數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的云平臺；SnappyData：用于實(shí)時(shí)運(yùn)營分析的分布式內(nèi)存數(shù)據(jù)存儲(chǔ)，提供建立在Spark單一集成集群中的數(shù)據(jù)流分析、OLTP（聯(lián)機(jī)事務(wù)處理）和OLAP（聯(lián)機(jī)分析處理）；Snowplow：企業(yè)級網(wǎng)絡(luò)和事件分析，由Hadoop、Kinesis、Redshift和Postgres提供技術(shù)支持；SparkR：Spark的R前端；Sp典：用于機(jī)器生成的數(shù)據(jù)的分析；SumoLogic：基于云的分析儀，用于分析機(jī)器生成的數(shù)據(jù);Talend：用于YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統(tǒng)一開源環(huán)境；Warp：利用大數(shù)據(jù)（OSXapp）的實(shí)例查詢工具。搜索引擎與框架ApacheLucene:搜索引擎庫;ApacheSolr:用于ApacheLucene的搜索平臺；ElasticSearch：基于ApacheLucene的搜索和分析引擎；皿皿也：為免費(fèi)增值的健壯性web應(yīng)用，用于探索、篩選、分析、搜索和導(dǎo)出來自網(wǎng)絡(luò)的大規(guī)模數(shù)據(jù)集；FacebookUnicorn:社交圖形搜索平臺；GoogleCaffeine:連續(xù)索引系統(tǒng);GooglePercolator：連續(xù)索引系統(tǒng);TeraGoogle:大型搜索索引;HBaseCoprocessor：為Percolator的實(shí)現(xiàn)，HBase的一部分；LilyHBaseIndexer：快諫、輕松地搜索存儲(chǔ)在HBase的任何內(nèi)容；LinkedInBobo:完全由Java編寫的分面搜索的實(shí)現(xiàn)，為ApacheLucene的延伸；LinkedInCleo：為一個(gè)一個(gè)靈活的軟件庫，使得局部、無序、實(shí)時(shí)預(yù)輸入的搜索實(shí)現(xiàn)了快速發(fā)展；LinkedInGalene：LinkedIn搜索架構(gòu)；LinkedInZoie：是用Java編寫的實(shí)時(shí)搜索/索引系統(tǒng)；SphinxSearchServer：全文搜索引擎MySQL的分支和演化AmazonRDS：亞馬遜云的MySQL數(shù)據(jù)庫；Drizzle：MySQL的6.0的演化；GoogleCloudSQL：谷歌云的MySQL數(shù)據(jù)庫；MariaDB：MySQL的增強(qiáng)版嵌入式替代品；MySQLCluster:使用NDB集群存儲(chǔ)引擎的MySQL實(shí)現(xiàn)；PerconaServer：MySQL的增強(qiáng)版嵌入式替代品；ProxySQL：MySQL的高性能代理；TokuDB:用于MySQL和MariaDB的存儲(chǔ)引擎；WebScaleSQL：運(yùn)行MySQL時(shí)面臨類似挑戰(zhàn)的幾家公司，它們的工程師之間的合作。PostgreSQL的分支和演化YahooEverest-multi-peta-bytedatabase/MPPderivedbyPostgreSQL.HadoopDB：MapReduce和DBMS的混合體；RMNetezza：高性能數(shù)據(jù)倉庫設(shè)備:Postgres-XL：基于PostgreSQL，可擴(kuò)展的開源數(shù)據(jù)庫集群；RecDB：完全建立在PostgreSQL內(nèi)部的開源推薦引擎；Stado：開源MPP數(shù)據(jù)庫系統(tǒng)，只針對數(shù)據(jù)倉庫和數(shù)據(jù)集市的應(yīng)用程序;.YahooEverest：PostgreSQL可以推導(dǎo)多字節(jié)P比特?cái)?shù)據(jù)庫/MPP。Memcached的分支和演化FacebookMcDipper：閃存的鍵/值緩存;FacebookMemcached：Memcache的分支；Twemproxy：Memcached和Redis的快速、輕型代理;TwitterFatcache:閃存的鍵/值緩存；TwitterTwemcache：Memcache的分支。嵌入式數(shù)據(jù)庫ActianPSQL：PervasiveSoftware公司開發(fā)的ACID兼容的DBMS，在應(yīng)用程序中嵌入了優(yōu)化；BekeleyDB：為鍵/值數(shù)據(jù)提供一個(gè)高性能的嵌入式數(shù)據(jù)庫的一個(gè)軟件庫；HanoiDB：ErlangLSMBTree存儲(chǔ)；deJDB：谷歌寫的一個(gè)快速鍵-值存儲(chǔ)庫，它提供了從字符串鍵到字符串值的有序映射；LMDB：Symas開發(fā)的超快、超緊湊的鍵-值嵌入的式數(shù)據(jù)存儲(chǔ)；RocksDB:基于性LevelDB，用于快速存儲(chǔ)的嵌入式持續(xù)性鍵-值存儲(chǔ)。商業(yè)智能BIMEAnalytics:商業(yè)智能云平臺;Chartm：精益業(yè)務(wù)智能平臺，用于可視化和探索數(shù)據(jù);datapine：基于云的自助服務(wù)商業(yè)智能工具;Jaspersoft:功能強(qiáng)大的商業(yè)智能套件:JedoxPalo：定制的商業(yè)智能平臺；Mcosot：商業(yè)智能軟件和平臺；Microstrategy：商業(yè)智能、移動(dòng)智能和網(wǎng)絡(luò)應(yīng)用軟件平臺:Pentaho：商業(yè)智能平臺：Qlik：商業(yè)智能和分析平臺；Saiku：開源的分析平臺；SpagoBI：開源商業(yè)智能平臺；Tableau：商業(yè)智能平臺；Zoomdata：大數(shù)據(jù)分析;Jethrodata：交互式大數(shù)據(jù)分析。數(shù)據(jù)可視化Airpal：用于PrestoDB的網(wǎng)頁UI；Arbor：利用網(wǎng)絡(luò)工作者和jQuery的圖形可視化庫；Banana：對存儲(chǔ)在Kibana中Solr.Port的日志和時(shí)戳數(shù)據(jù)進(jìn)行可視化；Bokeh：一個(gè)功能強(qiáng)大的Python交互式可視化庫，它針對要展示的現(xiàn)代web瀏覽器，旨在為D3.js風(fēng)格的新奇的圖形提供優(yōu)雅簡潔的設(shè)計(jì)，同時(shí)在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中，通過高性能交互性來表達(dá)這種能力；C3：基于D3可重復(fù)使用的圖表庫；CartoDB：開源或免費(fèi)增值的虛擬主機(jī)，用于帶有強(qiáng)大的前端編輯功能和API的地理空間數(shù)據(jù)庫；chartd：只帶Img標(biāo)簽的反應(yīng)靈敏、兼容Retina的圖表；Chart.js:開源的HTML5圖表可視化效果；Chartist.js：另一個(gè)開源HTML5圖表可視化效果；Crossfilter：JavaScript庫，用于在瀏覽器中探索多元大數(shù)據(jù)集，用Dc.js和D3.js.效果很好；Cubism：用于時(shí)間序列可視化的JavaScript庫；Cytoscape：用于可視化復(fù)雜網(wǎng)絡(luò)的JavaScript庫；DCjs：維度圖表，和Crossfilter一起使用，通過D3.js呈現(xiàn)出來，它比較擅長連接圖表/附加的元數(shù)據(jù)，從而徘徊在D3的事件附近；D3：操作文件的JavaScript庫；D3.compose：從可重復(fù)使用的圖表和組件構(gòu)成復(fù)雜的、數(shù)據(jù)驅(qū)動(dòng)的可視化:D3Plus：一組相當(dāng)強(qiáng)大的可重用的圖表，還有D3.js的樣式：Echarts：百度企業(yè)場景圖表:Envisionjs：動(dòng)態(tài)HTML5可視化；FnordMetricCSQL查詢，返回SVG圖表，而不是表；Freeboard:針對IOT和其他Web混搭的開源實(shí)時(shí)儀表盤構(gòu)建；Gephi：屢獲殊榮的開源平臺，可視化和操縱大型圖形和網(wǎng)絡(luò)連接，有點(diǎn)像Photoshop，但是針對于圖表，適用于Windows和MacOSX；GoogleCharts:簡單的圖表API；Grafana：石墨儀表板前端、編輯器和圖形組合器；Graphite：可擴(kuò)展的實(shí)時(shí)圖表;Highcharts：簡單而靈活的圖表API；IPython：為交互式計(jì)算提供豐富的架構(gòu);Kibana：可視化日志和時(shí)間標(biāo)記數(shù)據(jù)；Matplotlib：Python繪圖；Metricsgraphic.js：建立在D3之上的庫，針對時(shí)間序列數(shù)據(jù)進(jìn)行最優(yōu)化；NVD3：d3.js的圖表組件；皿：漸進(jìn)式SVG條形圖，折線和餅圖；Plot.ly:易于使用的Web服務(wù)，它允許快速創(chuàng)建從熱圖到直方圖等復(fù)雜的圖表，使用圖表Plotly的在線電子表格上傳數(shù)據(jù)進(jìn)行創(chuàng)建和設(shè)計(jì)；Plotly.js：支持plotly的開源JavaScript圖形庫；Recline：簡單但功能強(qiáng)大的庫，純粹利用JavaScript和HTML構(gòu)建數(shù)據(jù)應(yīng)用；Redash：查詢和可視化數(shù)據(jù)的開源平臺；Shiny:針對R的Web應(yīng)用程序框架；Sigma.js：JavaScript庫，專門用于圖形繪制；Vega：一個(gè)可視化語法；Zeppelin：一個(gè)筆記本式的協(xié)作數(shù)據(jù)分析;ZingCharts：用于大數(shù)據(jù)的JavaScript圖表庫。物聯(lián)網(wǎng)和傳感器TempoIQ：基于云的傳感器分析;2lemetry:物聯(lián)網(wǎng)平臺；Pubnub:數(shù)據(jù)流網(wǎng)絡(luò);ThingWorx：ThingWorx是讓企業(yè)快速創(chuàng)建和運(yùn)行互聯(lián)應(yīng)用程序平臺;IFTTT：IFTTT是一個(gè)被稱為網(wǎng)絡(luò)自動(dòng)化神器的創(chuàng)新型互聯(lián)網(wǎng)服務(wù)，它的全稱是Ifthisthenthat，意思是如果這樣，那么就那樣；Evrythng：Evrythng則是一款真正意義上的大眾物聯(lián)網(wǎng)平臺，使得身邊的很多產(chǎn)品變得智能化。文章推薦NoSQLComparison（NoSQL比較）-CassandravsMongoDBvsCouchDBvsRedisvsRiakvsHBasevsCouchbasevsNeo4jvsHypertablevsElasticSearchvsAccumulovsVoltDBvsScalariscomparison；BigDataBenchmark（大數(shù)據(jù)基準(zhǔn)）-Redshift,Hive,Shark,ImpalaandStiger/Tez的基準(zhǔn)；Thebigdatasuccessorofthespreadsheet（電子表格的大數(shù)據(jù)繼承者）-電子表格的繼承者應(yīng)該是大數(shù)據(jù)。論文2015-20162015-Facebook-OneTrillionEdges:GraphProcessingatFacebook-Scale.（一兆邊：Facebook規(guī)模的圖像處理）2013-20142014-Stanford-MiningofMassiveDatasets.（海量數(shù)據(jù)集挖掘）2013-AMPLab-Presto:DistributedMachineLearningandGraphProcessingwithSparseMatrices.（Presto：稀疏矩陣的分布式機(jī)器學(xué)習(xí)和圖像處理）2013-AMPLab-MLbase:ADistributedMachine-learningSystem.（MLbase：分布式機(jī)器學(xué)習(xí)系統(tǒng)）2013-AMPLab-Shark:SQLandRichAnalyticsatScale.（Shark:大規(guī)模的SQL和豐富的分析）2013-AMPLab-GraphX:AResilientDistributedGraphSystemonSpark.（GraphX:基于Spark的彈性分布式圖計(jì)算系統(tǒng)）2013-Google-HyperLogLoginPractice:AlgorithmicEngineeringofaStateofTheArtCardinalityEstimationAlgorithm.（HyperLogLog實(shí)踐:一個(gè)藝術(shù)形態(tài)的基數(shù)估算算法）2013-Microsoft-ScalableProgressiveAnalyticsonBigDataintheCloud.（云端大數(shù)據(jù)的可擴(kuò)展性漸進(jìn)分析）2013-Metamarkets-Druid:AReal-timeAnalyticalDataStore.（Druid:實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)）2013-Google-Online,AsynchronousSchemaChangeinF1.（F1中在線、異步模式的轉(zhuǎn)變）2013-Google-F1:ADistributedSQLDatabaseThatScales.（F1:分布式SQL數(shù)據(jù)庫）2013-Google-MillWheel:Fault-TolerantStreamProcessingatInternetScale.（MillWheel:互聯(lián)網(wǎng)規(guī)模下的容錯(cuò)流處理）2013-Facebook-Scuba:DivingintoDataatFacebook.（Scuba:深入Facebook的數(shù)據(jù)世界）2013-Facebook-Unicorn:ASystemforSearchingtheSocialGraph.（Unicorn:一種搜索社交圖的系統(tǒng)）2013-Facebook-ScalingMemcacheatFacebook.（Facebook對Memcache伸縮性的增強(qiáng)）2011-20122012-Twitter-TheUnifiedLoggingInfrastructureforDataAnalyticsatTwitter.（Twitter數(shù)據(jù)分析的統(tǒng)一日志基礎(chǔ)結(jié)構(gòu)）2012-AMPLab-BlinkandIt'sDone:InteractiveQueriesonVeryLargeData.（Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢）2012-AMPLab-FastandInteractiveAnalyticsoverHadoopDatawithSpark.（Spark上Hadoop數(shù)據(jù)的快速交互式分析）2012-AMPLab-Shark:FastDataAnalysisUsingCoarse-grainedDistributedMemory.（Shark：使用粗粒度的分布式內(nèi)存快速數(shù)據(jù)分析）2012-Microsoft-PaxosReplicatedStateMachinesastheBasisofaHigh-PerformanceDataStore.（Paxos的復(fù)制狀態(tài)機(jī)高性能數(shù)據(jù)存儲(chǔ)的基礎(chǔ)）2012-Microsoft-PaxosMadeParallel.（Paxos算法實(shí)現(xiàn)并行）2012-AMPLab-BlinkDB：BlinkDB:QuerieswithBoundedErrorsandBoundedResponseTimesonVeryLargeData.（超大規(guī)模數(shù)據(jù)中有限誤差與有界響應(yīng)時(shí)間的查詢）2012-Google-Processingatrillioncellspermouseclick.（每次點(diǎn)擊處理一兆個(gè)單元格）2012-Google-Spanner:Google'sGlobally-Distrib