做大數(shù)據(jù)分析系統(tǒng)Hadoop需要用哪些軟件 常用的大數(shù)據(jù)分析軟件有哪些？
1、ApacheMesos
代碼托管地址：ApacheSVN
Mesos提供了高效、跨分布式應(yīng)用程序和框架的資源隔離和共享，支持Hadoop、MPI、Hypertable、Spark等。
Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現(xiàn)容錯復(fù)制，使用LinuxContainers來隔離任務(wù)，支持多種資源計劃分配(內(nèi)存和CPU)。提供Java、Python和C++APIs來開發(fā)新的并行應(yīng)用程序，提供基于Web的用戶界面來提查看集群狀態(tài)。
2、HadoopYARN
代碼托管地址：ApacheSVN
YARN又被稱為MapReduce2.0，借鑒Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供Java虛擬機內(nèi)存的隔離。
對比MapReduce1.x，YARN架構(gòu)在客戶端上并未做太大的改變，在調(diào)用API及接口上還保持大部分的兼容，然而在YARN中，開發(fā)人員使用ResourceManager、ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一個中心的服務(wù)，負責(zé)調(diào)度、啟動每一個Job所屬的ApplicationMaster，另外還監(jiān)控ApplicationMaster的存在情況;NodeManager負責(zé)Container狀態(tài)的維護，并向RM保持心跳。ApplicationMaster負責(zé)一個Job生命周期內(nèi)的所有工作，類似老的框架中JobTracker。
Hadoop上的實時解決方案
前面我們有說過，在互聯(lián)網(wǎng)公司中基于業(yè)務(wù)邏輯需求，企業(yè)往往會采用多種計算框架，比如從事搜索業(yè)務(wù)的公司：網(wǎng)頁索引建立用MapReduce，自然語言處理用Spark等。
3、ClouderaImpala
代碼托管地址：GitHub
Impala是由Cloudera開發(fā)，一個開源的MassivelyParallelProcessing(MPP)查詢引擎。與Hive相同的元數(shù)據(jù)、SQL語法、ODBC驅(qū)動程序和用戶接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查詢。Impala是在Dremel的啟發(fā)下開發(fā)的，第一個版本發(fā)布于2012年末。
Impala不再使用緩慢的Hive+MapReduce批處理，而是通過與商用并行關(guān)系數(shù)據(jù)庫中類似的分布式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成)，可以直接從HDFS或者HBase中用SELECT、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲。
4、Spark
代碼托管地址：Apache
Spark是個開源的數(shù)據(jù)分析集群計算框架，最初由加州大學(xué)伯克利分校AMPLab開發(fā)，建立于HDFS之上。Spark與Hadoop一樣，用于構(gòu)建大規(guī)模、低延時的數(shù)據(jù)分析應(yīng)用。Spark采用Scala語言實現(xiàn)，使用Scala作為應(yīng)用框架。
Spark采用基于內(nèi)存的分布式數(shù)據(jù)集，優(yōu)化了迭代式的工作負載以及交互式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對象那樣管理分布式數(shù)據(jù)集。Spark支持分布式數(shù)據(jù)集上的迭代式任務(wù)，實際上可以在Hadoop文件系統(tǒng)上與Hadoop一起運行(通過YARN、Mesos等實現(xiàn))。
5、Storm
代碼托管地址：GitHub
Storm是一個分布式的、容錯的實時計算系統(tǒng)，由BackType開發(fā)，后被Twitter捕獲。Storm屬于流處理平臺，多用于實時計算并更新數(shù)據(jù)庫。Storm也可被用于“連續(xù)計算”(continuouscomputation)，對數(shù)據(jù)流做連續(xù)查詢，在計算時就將結(jié)果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算。
Hadoop上的其它解決方案
就像前文說，基于業(yè)務(wù)對實時的需求，各個實驗室發(fā)明了Storm、Impala、Spark、Samza等流實時處理工具。而本節(jié)我們將分享的是實驗室基于性能、兼容性、數(shù)據(jù)類型研究的開源解決方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。
6、Shark
代碼托管地址：GitHub
Shark，代表了“HiveonSpark”，一個專為Spark打造的大規(guī)模數(shù)據(jù)倉庫系統(tǒng)，兼容ApacheHive。無需修改現(xiàn)有的數(shù)據(jù)或者查詢，就可以用100倍的速度執(zhí)行HiveQL。
Shark支持Hive查詢語言、元存儲、序列化格式及自定義函數(shù)，與現(xiàn)有Hive部署無縫集成，是一個更快、更強大的替代方案。
7、Phoenix
代碼托管地址：GitHub
Phoenix是構(gòu)建在ApacheHBase之上的一個SQL中間層，完全使用Java編寫，提供了一個客戶端可嵌入的JDBC驅(qū)動。Phoenix查詢引擎會將SQL查詢轉(zhuǎn)換為一個或多個HBasescan，并編排執(zhí)行以生成標準的JDBC結(jié)果集。直接使用HBaseAPI、協(xié)同處理器與自定義過濾器，對于簡單查詢來說，其性能量級是毫秒，對于百萬級別的行數(shù)來說，其性能量級是秒。Phoenix完全托管在GitHub之上。
Phoenix值得關(guān)注的特性包括：1，嵌入式的JDBC驅(qū)動，實現(xiàn)了大部分的java.sql接口，包括元數(shù)據(jù)API;2，可以通過多個行鍵或是鍵/值單元對列進行建模;3，DDL支持;4，版本化的模式倉庫;5，DML支持;5，通過客戶端的批處理實現(xiàn)的有限的事務(wù)支持;6，緊跟ANSISQL標準。
8、ApacheAccumulo
代碼托管地址：ApacheSVN
ApacheAccumulo是一個可靠的、可伸縮的、高性能、排序分布式的鍵值存儲解決方案，基于單元訪問控制以及可定制的服務(wù)器端處理。使用GoogleBigTable設(shè)計思路，基于ApacheHadoop、Zookeeper和Thrift構(gòu)建。Accumulo最早由NSA開發(fā)，后被捐獻給了Apache基金會。
對比GoogleBigTable，Accumulo主要提升在基于單元的訪問及服務(wù)器端的編程機制，后一處修改讓Accumulo可以在數(shù)據(jù)處理過程中任意點修改鍵值對。
9、ApacheDrill
代碼托管地址：GitHub
本質(zhì)上，ApacheDrill是GoogleDremel的開源實現(xiàn)，本質(zhì)是一個分布式的mpp查詢層，支持SQL及一些用于NoSQL和Hadoop數(shù)據(jù)存儲系統(tǒng)上的語言，將有助于Hadoop用戶實現(xiàn)更快查詢海量數(shù)據(jù)集的目的。當下Drill還只能算上一個框架，只包含了Drill愿景中的初始功能。
Drill的目的在于支持更廣泛的數(shù)據(jù)源、數(shù)據(jù)格式及查詢語言，可以通過對PB字節(jié)數(shù)據(jù)的快速掃描(大約幾秒內(nèi))完成相關(guān)分析，將是一個專為互動分析大型數(shù)據(jù)集的分布式系統(tǒng)。
10、ApacheGiraph
代碼托管地址：GitHub
ApacheGiraph是一個可伸縮的分布式迭代圖處理系統(tǒng)，靈感來自BSP(bulksynchronousparallel)和Google的Pregel，與它們區(qū)別于則是是開源、基于Hadoop的架構(gòu)等。
Giraph處理平臺適用于運行大規(guī)模的邏輯計算，比如頁面排行、共享鏈接、基于個性化排行等。Giraph專注于社交圖計算，被Facebook作為其OpenGraph工具的核心，幾分鐘內(nèi)處理數(shù)萬億次用戶及其行為之間的連接。
11、ApacheHama
代碼托管地址：GitHub
ApacheHama是一個建立在Hadoop上基于BSP(BulkSynchronousParallel)的計算框架，模仿了Google的Pregel。用來處理大規(guī)模的科學(xué)計算，特別是矩陣和圖計算。集群環(huán)境中的系統(tǒng)架構(gòu)由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)這3大塊組成。
12、ApacheTez
代碼托管地址：GitHub
ApacheTez是基于HadoopYarn之上的DAG(有向無環(huán)圖，DirectedAcyclicGraph)計算框架。它把Map/Reduce過程拆分成若干個子過程，同時可以把多個Map/Reduce任務(wù)組合成一個較大的DAG任務(wù)，減少了Map/Reduce之間的文件存儲。同時合理組合其子過程，減少任務(wù)的運行時間。由Hortonworks開發(fā)并提供主要支持。
13、ApacheAmbari
代碼托管地址：ApacheSVN
ApacheAmbari是一個供應(yīng)、管理和監(jiān)視ApacheHadoop集群的開源框架，它提供一個直觀的操作工具和一個健壯的HadoopAPI,可以隱藏復(fù)雜的Hadoop操作，使集群操作大大簡化，首個版本發(fā)布于2012年6月。
ApacheAmbari現(xiàn)在是一個Apache的頂級項目，早在2011年8月，Hortonworks引進Ambari作為ApacheIncubator項目，制定了Hadoop集群極致簡單管理的愿景。在兩年多的開發(fā)社區(qū)顯著成長，從一個小團隊，成長為Hortonworks各種組織的貢獻者。Ambari用戶群一直在穩(wěn)步增長，許多機構(gòu)依靠Ambari在其大型數(shù)據(jù)中心大規(guī)模部署和管理Hadoop集群。
目前ApacheAmbari支持的Hadoop組件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。
數(shù)據(jù)編程工具有Python、R、SAS等，目前用得多的是Python,如果有語言基礎(chǔ)的小伙伴上手很快，語法、函數(shù)、面向?qū)ο筮@些都比較簡單，沒有基礎(chǔ)的小伙伴也可以自學(xué)，不是很難。
數(shù)據(jù)可視化不是很難，如果不要求特別美工的話，大家先理解圖表，再研究研究儀表板，阿里云的Quich BI及DataV,百度的echarts都不錯，主要是展示的業(yè)務(wù)結(jié)構(gòu)需要規(guī)劃。
大數(shù)據(jù)技術(shù):這個相對來說有些難度，不過有專業(yè)的工具讓我們用，比如第四范式的產(chǎn)品和阿里云的機器學(xué)習(xí)PAN都是可以直接出結(jié)果的工具；
分析&AI：這部分先了解數(shù)據(jù)分析的基本流程和分析手法；上面的如果都學(xué)了，可以到阿里云大學(xué)上面去做幾個數(shù)據(jù)分析方面的案例，增加對數(shù)據(jù)分析的流程理解和相關(guān)技術(shù)應(yīng)用，但是要注意的是阿里案例都是用阿里的工具來實現(xiàn)的，比較簡單，建議大家自己編程實現(xiàn)，也可以到九道門商業(yè)數(shù)據(jù)分析實訓(xùn)中心上去看一些案例，自己做做訓(xùn)練。
大數(shù)據(jù)分析工具有哪些
Apache Hadoop Hadoop作為開源大數(shù)據(jù)分析工具，是數(shù)據(jù)倉庫的頂級解決方案，能在廉價服務(wù)器集群上高效存儲和處理大數(shù)據(jù)。其分布式文件系統(tǒng)和MapReduce技術(shù)降低了大數(shù)據(jù)分析的成本。MongoDB MongoDB是NoSQL數(shù)據(jù)庫的代表，適合存儲大量數(shù)據(jù)。其文檔結(jié)構(gòu)靈活，允許動態(tài)調(diào)整，對于存儲復(fù)雜數(shù)據(jù)關(guān)系尤其適用。RapidMiner Rapi...
常用的大數(shù)據(jù)工具有哪些?
6. 面向政府和企業(yè)的解決方案由未至科技提供。7. 未至科技顯微鏡是一款大數(shù)據(jù)文本挖掘工具，通過計算機處理技術(shù)從文本數(shù)據(jù)中抽取有價值的信息和知識，技術(shù)包括文本分類、聚類、信息抽取、實體識別、關(guān)鍵詞標引、摘要等。基于Hadoop MapReduce的文本挖掘軟件能夠處理海量文本分析。8. 未至科技數(shù)據(jù)立方是一款大數(shù)據(jù)...
大數(shù)據(jù)分析軟件有哪些?
大數(shù)據(jù)分析軟件有很多，一般來說，數(shù)據(jù)分析工作中都是有很多層次的，這些層次分別是數(shù)據(jù)存儲層、數(shù)據(jù)報表層、數(shù)據(jù)分析層、數(shù)據(jù)展現(xiàn)層。對于不同的層次是有不同的工具進行工作的。Smartbi作為國內(nèi)資深專業(yè)的BI廠商，定位于一站式大數(shù)據(jù)服務(wù)平臺，對接各種業(yè)務(wù)數(shù)據(jù)庫、數(shù)據(jù)倉庫和大數(shù)據(jù)平臺，進行加工處理、分析...
大數(shù)據(jù)都是學(xué)什么軟件
1. Java：對于大數(shù)據(jù)學(xué)習(xí)而言，深入掌握Java語言并非必需，了解Java SE基礎(chǔ)即可。因為大數(shù)據(jù)處理框架通常用Java編寫，所以具備Java基礎(chǔ)能幫助更快上手。2. Linux：大數(shù)據(jù)相關(guān)軟件普遍運行在Linux系統(tǒng)上，因此，Linux操作是學(xué)習(xí)的重點。精通Linux有助于理解Hadoop、Hive、HBase、Spark等軟件的運行和網(wǎng)絡(luò)配置，減少...
大數(shù)據(jù)分析工具有哪些
2、Apache Hadoop Apache Hadoop 是領(lǐng)先的大數(shù)據(jù)分析工具開源。它是一個軟件框架，用于在商品硬件的集群上存儲數(shù)據(jù)和運行應(yīng)用程序。它是由軟件生態(tài)系統(tǒng)組成的領(lǐng)先框架。Hadoop 使用其 Hadoop 分布式文件系統(tǒng)或 HDFS 和 MapReduce。它被認為是大數(shù)據(jù)分析的頂級數(shù)據(jù)倉庫。它具有在數(shù)百臺廉價服務(wù)器上存儲和分發(fā)...
常用的大數(shù)據(jù)分析軟件有哪些(列舉當前主流大數(shù)據(jù)分析工具有哪些)
大數(shù)據(jù)行業(yè)因為數(shù)據(jù)量巨大的特點，傳統(tǒng)的工具已經(jīng)難以應(yīng)付，因此就需要我們使用更為先進的現(xiàn)代化工具，以下是幾款常用軟件：1、思邁特軟件Smartbi大數(shù)據(jù)分析平臺：定位為一站式滿足所有用戶全面需求場景的大數(shù)據(jù)分析平臺。它融合了BI定義的所有階段，對接各種業(yè)務(wù)數(shù)據(jù)庫、數(shù)據(jù)倉庫和大數(shù)據(jù)分析平臺，進行加工處理、...
一般用哪些工具做大數(shù)據(jù)可視化分析?
Continuuity簡化了Hadoop和HBase集群的復(fù)雜性，F(xiàn)lurry則在移動應(yīng)用統(tǒng)計分析領(lǐng)域擁有領(lǐng)先優(yōu)勢。Tableau作為大數(shù)據(jù)可視化分析領(lǐng)域的領(lǐng)導(dǎo)者，以其強大的魔力，幫助用戶快速構(gòu)建和分享動態(tài)數(shù)據(jù)可視化報告。隨著技術(shù)的不斷發(fā)展，更多實用的大數(shù)據(jù)可視化分析工具不斷涌現(xiàn)，為企業(yè)決策提供更準確、直觀的支持。
大數(shù)據(jù)都是學(xué)什么軟件(大數(shù)據(jù)用什么軟件)
Java：只要了解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的Java技術(shù)，學(xué)javaSE就相當于有學(xué)習(xí)大數(shù)據(jù)。Linux：因為大數(shù)據(jù)相關(guān)軟件都是在Linux上運行的，所以Linux要學(xué)習(xí)的扎實一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置...
大數(shù)據(jù)分析常用的工具有哪些?
這個不用多說，不僅在大數(shù)據(jù)，基本上所有的公司辦公軟件都會安裝Excel，在Excel中有許多的公式和函數(shù)，方便我們進行一系列的操作，當然其缺點也比較明顯，那就是不適用于龐大的數(shù)據(jù)集。3.DataCleaner 就像它的名字一樣，DataCleaner是一款能對數(shù)據(jù)質(zhì)量進行分析、比較和監(jiān)督的軟件，也可以將半結(jié)構(gòu)化的數(shù)據(jù)集...
大數(shù)據(jù)分析工具哪家比較好?
3、Cloudera數(shù)據(jù)分析 Cloudera實際上是增加了一些額外服務(wù)的Hadoop，非常需要這個，因為大數(shù)據(jù)不容易搞。Cloudera的服務(wù)團隊不僅可以幫助構(gòu)建大數(shù)據(jù)集群，還可以幫助培訓(xùn)員工，更好地訪問數(shù)據(jù)。4、 MongoDBMongoDB數(shù)據(jù)分析 MongoDBMongoDB是最受歡迎的大數(shù)據(jù)數(shù)據(jù)庫，因為適用于管理經(jīng)常變化的數(shù)據(jù)：非結(jié)構(gòu)化數(shù)據(jù)，...
相關(guān)評說：
仲巴縣螺旋： ______ 我個人認為大數(shù)據(jù)相關(guān)的技能知識分為三塊:1、基礎(chǔ)技術(shù)平臺的搭建和管理2、數(shù)據(jù)分析、挖掘、機器學(xué)習(xí)等數(shù)據(jù)應(yīng)用技能3、分析結(jié)果展現(xiàn)技術(shù) 其中2是非常需要數(shù)學(xué)(主要是統(tǒng)計學(xué))和算法基礎(chǔ)的,也是我認為最有含金量的部分. 我自己也是個純粹的工程師,正在努力學(xué)習(xí)統(tǒng)計和R語言.同勉.
仲巴縣螺旋： ______ 在大數(shù)據(jù)處理分析過程中常用的六大工具:Hadoop Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架.但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的.Hadoop 是可靠的,因為它假設(shè)計算元素和存儲會失敗,...
仲巴縣螺旋： ______ 這個要根據(jù)自己處理數(shù)據(jù)的方式來選擇.1、Hive是支持SQL語句的,執(zhí)行會調(diào)用mapreduce,所以延遲比較高;2、HBase是面向列的分布式數(shù)據(jù)庫,使用集群環(huán)境的內(nèi)存做處理,效率會比hive要高,但是不支持sql語句.Hadoop開發(fā)和運行處理大規(guī)模數(shù)據(jù),需要用hbase做數(shù)據(jù)庫,但由于hbase沒有類sql查詢方式,所以操作和計算數(shù)據(jù)非常不方便,于是整合hive,讓hive支撐在hbase數(shù)據(jù)庫層面的 hql查詢,hive也即做數(shù)據(jù)倉庫.
仲巴縣螺旋： ______ 理論上不需要,在用hadoop做數(shù)據(jù)分析時,有時候會將結(jié)果數(shù)據(jù)導(dǎo)入到mysql,或者是需要將mysql的數(shù)據(jù)導(dǎo)出到hadoop. 所以mysql可能在某些場景下還是有用的,可以學(xué)習(xí)入門一下mysql.
仲巴縣螺旋： ______ 首先Hadoop是一個開源的框架,可編寫和運行分布式應(yīng)用處理大規(guī)模數(shù)據(jù),是專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計的,并不適合那種對幾個記錄隨機讀寫的在線事務(wù)處理模式.Hadoop=HDFS(文件系統(tǒng),數(shù)據(jù)存儲技術(shù)相關(guān))+ Mapreduce(數(shù)據(jù)...
仲巴縣螺旋： ______ 不是的,hadoop是因為開源免費,再個hadoop學(xué)的人多,資料也就多,相對別的大數(shù)據(jù)處理框架人力成本和時間成本就會降低很多
仲巴縣螺旋： ______ 、需要有應(yīng)用數(shù)學(xué)、統(tǒng)計學(xué)、數(shù)量經(jīng)濟學(xué)專業(yè)本科或者工學(xué)碩士層次水平的數(shù)學(xué)知識背景. 2. 5、至少掌握一門數(shù)學(xué)軟件:matalab,mathmatics進行新模型的構(gòu)建、至少熟練SPSS、STATISTIC、Eviews; 4、SAS等數(shù)據(jù)分析軟件中的一門. 3、至少能夠用Acess等進行數(shù)據(jù)庫開發(fā)、至少掌握一門編程語言; 6,當然還要其他應(yīng)用領(lǐng)域方面的知識,比如市場營銷
仲巴縣螺旋： ______ hadoop支持大數(shù)據(jù)量(PB級)的處理.大數(shù)據(jù)量的處理涉及存儲、計算等非常復(fù)雜的問題.需要分布式存儲、分頁式計算等技術(shù),往往需要成百上千臺計算機同時參與才能完成,也就是通常大家說的云技術(shù).
