大數據存儲與應用特點及技術路線分析
大數據存儲與應用特點及技術路線分析
大數據時代，數據呈爆炸式增長。從存儲服務的發(fā)展趨勢來看，一方面，對數據的存儲量的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩(wěn)定性，系統(tǒng)可擴展性、性能及成本各方面因素。
大數據存儲與應用的特點分析
“大數據”是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基于云計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力。其常見特點可以概括為3V:Volume、Velocity、Variety(規(guī)模大、速度快、多樣性)。
大數據具有數據規(guī)模大(Volume)且增長速度快的特性，其數據規(guī)模已經從PB級別增長到EB級別，并且仍在不斷地根據實際應用的需求和企業(yè)的再發(fā)展繼續(xù)擴容，飛速向著ZB(ZETA-BYTE)的規(guī)模進軍。以國內最大的電子商務企業(yè)淘寶為例，根據淘寶網的數據顯示，至2011年底，淘寶網最高單日獨立用戶訪問量超過1.2億人，比2010年同期增長120%,注冊用戶數量超過4億，在線商品數量達到8億，頁面瀏覽量達到20億規(guī)模，淘寶網每天產生4億條產品信息，每天活躍數據量已經超過50TB.所以大數據的存儲或者處理系統(tǒng)不僅能夠滿足當前數據規(guī)模需求，更需要有很強的可擴展性以滿足快速增長的需求。
(1)大數據的存儲及處理不僅在于規(guī)模之大，更加要求其傳輸及處理的響應速度快(Velocity)。
相對于以往較小規(guī)模的數據處理，在數據中心處理大規(guī)模數據時，需要服務集群有很高的吞吐量才能夠讓巨量的數據在應用開發(fā)人員“可接受”的時間內完成任務。這不僅是對于各種應用層面的計算性能要求，更加是對大數據存儲管理系統(tǒng)的讀寫吞吐量的要求。例如個人用戶在網站選購自己感興趣的貨物，網站則根據用戶的購買或者瀏覽網頁行為實時進行相關廣告的推薦，這需要應用的實時反饋;又例如電子商務網站的數據分析師根據購物者在當季搜索較為熱門的關鍵詞，為商家提供推薦的貨物關鍵字，面對每日上億的訪問記錄要求機器學習算法在幾天內給出較為準確的推薦，否則就丟失了其失效性；更或者是出租車行駛在城市的道路上，通過GPS反饋的信息及監(jiān)控設備實時路況信息，大數據處理系統(tǒng)需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質中獲得相關海量的數據。另外一方面，海量數據存儲管理系統(tǒng)與傳統(tǒng)的數據庫管理系統(tǒng)，或者基于磁帶的備份系統(tǒng)之間也在發(fā)生數據交換，雖然這種交換實時性不高可以離線完成，但是由于數據規(guī)模的龐大，較低的數據傳輸帶寬也會降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。
(2)大數據由于其來源的不同，具有數據多樣性的特點。
所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質多樣性。對于傳統(tǒng)的數據庫，其存儲的數據都是結構化數據，格式規(guī)整，相反大數據來源于日志、歷史數據、用戶行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統(tǒng)數據庫存儲技術無法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由于其數據來源不同，應用算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網頁文件，有的是一些被序列化后的比特流文件等等。所謂存儲介質多樣性是指硬件的兼容，大數據應用需要滿足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實時或者流數據的響應可以直接從內存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁盤的存儲服務器上，有的可以存放在傳統(tǒng)的SAN或者NAS網絡存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統(tǒng)必須對多種數據及軟硬件平臺有較好的兼容性來適應各種應用算法或者數據提取轉換與加載(ETL)。
大數據存儲技術路線最典型的共有三種：
第一種是采用MPP架構的新型數據庫集群，重點面向行業(yè)大數據，采用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環(huán)境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業(yè)分析類應用領域獲得極其廣泛的應用。
這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統(tǒng)數據庫技術無法勝任的。對于企業(yè)新一代的數據倉庫和結構化數據分析，目前最佳選擇是MPP數據庫。
第二種是基于Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統(tǒng)關系型數據庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優(yōu)勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前最為典型的應用場景就是通過擴展和封裝 Hadoop來實現對互聯(lián)網大數據存儲、分析的支撐。這里面有幾十種NoSQL技術，也在進一步的細分。對于非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平臺更擅長。
第三種是大數據一體機，這是一種專為大數據的分析處理而設計的軟、硬件結合的產品，由一組集成的服務器、存儲設備、操作系統(tǒng)、數據庫管理系統(tǒng)以及為數據查詢、處理、分析用途而特別預先安裝及優(yōu)化的軟件組成，高性能大數據一體機具有良好的穩(wěn)定性和縱向擴展性。
以上是小編為大家分享的關于大數據存儲與應用特點及技術路線分析的相關內容，更多信息可以關注環(huán)球青藤分享更多干貨
大數據存儲與應用特點及技術路線分析
第一種是采用MPP架構的新型數據庫集群，重點面向行業(yè)大數據，采用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環(huán)境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業(yè)分析類應用領域獲得極其廣泛的應用。這類MPP...
大數據核心技術有哪些
大數據技術的體系龐大且復雜，基礎的技術包含數據的采集、數據預處理、分布式存儲、數據庫、數據倉庫、機器學習、并行計算、可視化等。1、數據采集與預處理：FlumeNG實時日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數據發(fā)送方，用于收集數據；Zookeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調服務，提供數據同步...
大數據技術包括哪些
大數據技術涵蓋了數據處理的全流程，從數據的采集、存儲、處理到分析和呈現，每一個環(huán)節(jié)都至關重要。首先，數據收集是大數據生命周期的起點，主要源自管理信息系統(tǒng)、Web信息系統(tǒng)等四種渠道。數據存儲方面，根據數據類型，分為處理結構化、半結構化和混合數據的三種技術路線。基礎架構部分，云存儲和分布式文件存...
MPP架構和分布式架構的區(qū)別
兩種架構均依賴于大量普通機器以滿足大數據處理需求，但它們在管理任務執(zhí)行時，對磁盤、內存和CPU的使用方式不同，從而導致了在應用上的特性差異。1.1 分布式架構分析 分布式架構下，技術路線包括Hadoop、Hive、Kafka、Tez、Spark、Flink等，其核心思想沿襲自HDFS+Yarn+MapReduce。在分布式處理中，數據存儲采用...
數據庫發(fā)展的一些新特點
甲骨文公司在其10g版本中提供的存儲數據加密、虛擬私有數據庫、Label Security等技術；微軟的SQL server 2005通過數據庫加密、缺省安全設置、口令策略實施、粒度權限控制和強化安全模型等功能特性為企業(yè)數據提供最高層次的安全保障，就是其中的佼佼者。（4）、集成商業(yè)智能功能 大多數企業(yè)中，商業(yè)智能應用程序...
常用的大數據技術有哪些
數據存取則采用了不同的技術路線，大致可以分為三類：一是針對大規(guī)模結構化數據的處理；二是針對半結構化和非結構化數據的處理；三是處理結構化和非結構化混合的大數據。基礎架構方面，云存儲和分布式文件存儲等技術被廣泛應用。數據處理時，由于采集到的各個數據集可能存在不同的結構和模式，如文件、XML...
大數據技術可以分為哪幾種類型
2、數據存取：大數據的存去采用不同的技術路線，大致可以分為3類。第1類主要面對的是大規(guī)模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，3、基礎架構：云存儲、分布式文件存儲等。4、數據處理：對于采集到的不同的數據集，可能存在不同的...
計算機就業(yè)前景好不好?
1、必須具備扎實的數據基礎理論和基礎知識;2、畢業(yè)生應該具有較強的思維能力、算法設計與分析能力;3、系統(tǒng)的掌握計算機科學與技術專業(yè)基本理論、基本知識和操作技能;4、你必須了解學科的知識結構、典型技術、核心概念和基本工作流程;5、擁有較強的計算機系統(tǒng)的認知、分析、設計、編程和應用能力;6、掌握文獻...
數據庫發(fā)展呈現三個主要特征
數據庫（Databases，簡稱DB）是指長期保存在計算機的存儲設備上、并按照某種模型組織起來的、可以被各種用戶或應用共享的數據的集合。數據庫管理系統(tǒng)（Database Management Systems，簡稱DBMS）是指提供各種數據管理服務的計算機軟件系統(tǒng)，這種服務包括數據對象定義、數據存儲與備份、數據訪問與更新、數據統(tǒng)計與分...
研究內容及技術路線
1)以1∶20萬地質、地球物理、地球化學、遙感空間數據庫為支撐,并建立起與數字礦床模型專家系統(tǒng)的有機聯(lián)系,分析銅礦床知識模型建模要素特征,確定各類模型中可作為GIS定位圖層的地質特征標志,在此基礎上開發(fā)基于GIS的數字礦床模型定位評價系統(tǒng),完成遠景區(qū)定位。 2)開發(fā)專家系統(tǒng)與MRAS礦產資源GIS評價軟件平臺接口程序,實現...
相關評說：
新華區(qū)偏置： ______ 率先提出“云計算機”概念的紫光股份將其定義為:采用與個人計算機和超級計算機完全不同的分布式體系架構,借助于云計算的虛擬化技術,由多個成本相對較低的計算資源融合而成的一臺具有強大計算能力的計算機.它可高效支持大數據處...
新華區(qū)偏置： ______ 大數據技術是指從各種各樣海量類型的數據中,快速獲得有價值信息的能力.適用于大數據的技術,包括大規(guī)模并行處理(MPP)數據庫,數據挖掘電網,分布式文件系統(tǒng),分布式數據庫,云計算平臺,互聯(lián)網,和可擴展的存儲系統(tǒng).大數據具...
新華區(qū)偏置： ______ 1.大數據和開源 Apache Hadoop、Spark和其他開源應用程序已經成為大數據技術空間的主流,而且這種趨勢似乎可能會持續(xù)下去.一項調查發(fā)現,近60%的企業(yè)預計到今年年底將采用Hadoop集群投入生產.根據調研機構Forrester公司的報告...
新華區(qū)偏置： ______ 云計算將為大數據帶來以下發(fā)展趨勢變化: 首先云計算為大數據提供了可以彈性擴展、相對便宜的存儲空間和計算資源,使得中小企業(yè)也可以像亞馬遜一樣通過云計算來完成大數據分析. 其次,云計算IT資源龐大、分布較為廣泛,是異構系統(tǒng)較多的企業(yè)及時準確處理數據的有力方式,甚至是唯一的方式. 數據分析集逐步擴大,企業(yè)級數據倉庫將成為主流,未來還將逐步納入行業(yè)數據、政府公開數據等多來源數據. 當人們從大數據分析中嘗到甜頭以后,數據分析集就會逐步擴大.目前大部分的企業(yè)所分析的數據量一般以TB為單位.按照目前數據的發(fā)展速度,很快將會進入PB時代.特別是目前在100-500TB和500+TB范圍的分析數據集的數量會呈3倍或4倍增長.
新華區(qū)偏置： ______ 大數據時代需要學習數據的存儲和處理技術. 大數據的存儲主要是一些分布式文件系統(tǒng),現在有好些分布式文件系統(tǒng).比較火的就是GFS,HDFS前者是谷歌的內部使用的,后者是根據谷歌的相關論文用java開發(fā)的來源框架.hdfs可以學習. 然后就是數據處理是學mapreduce,這是大數據出的不錯的實現,可以基于hdfs實現大數據處理和優(yōu)化存儲. 還有一個比較好的列式存儲的數據庫hbase,也是為了大數據兒生的非關系型數據庫. 然后就是一些輔助工具框架,比如:hive,pig,zookeeper,sqoop,flum.
