基于MapReduce計算模型編寫分布式并行程序非常簡單，程序員的主要編碼工作就是實現(xiàn)Map和Reduce函數(shù)，其它的并行編程中的種種復(fù)雜問題，如分布式存儲、工作調(diào)度、負載平衡、容錯處理、網(wǎng)絡(luò)通信等，均由MapReduce框架負責(zé)處理，程序員完全不用操心。

    表1

    2.3分布式數(shù)據(jù)庫

    傳統(tǒng)數(shù)據(jù)庫已經(jīng)逐漸被企業(yè)應(yīng)用，在應(yīng)用的過程當(dāng)中遇到了很多問題；而分布式數(shù)據(jù)庫具備的高可用、高擴展等特點，則解決了傳統(tǒng)數(shù)據(jù)庫無法解決的問題。分布式數(shù)據(jù)庫這種高可用、高擴展特性將會形成一種技術(shù)趨勢。

    傳統(tǒng)數(shù)據(jù)庫，比如關(guān)系型數(shù)據(jù)庫在解決問題的時遇到了瓶頸，大量訪問用戶在訪問量方面遇到了新的挑戰(zhàn)；真正未來的數(shù)據(jù)庫是一個分布式解決方案，它類似于NoSql解決方案。分布式數(shù)據(jù)庫解決方案具備兩個特點：第一，具有彈性可擴展性；第二，單點不可靠、但整個集群是可靠。分布式數(shù)據(jù)庫是未來數(shù)據(jù)庫或者互聯(lián)網(wǎng)應(yīng)用比較青睞的數(shù)據(jù)庫。

    這種分布式數(shù)據(jù)庫正在形成一種趨勢。分布式數(shù)據(jù)庫和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫有一定的區(qū)別，兩者基于不同的理論。第一，傳統(tǒng)的數(shù)據(jù)庫有非常強的事務(wù)能力，因其一致性高，導(dǎo)致它的擴展性非常復(fù)雜；第二，對于互聯(lián)網(wǎng)企業(yè)來講，其更多關(guān)注的不是一致性，其只需要在最終達到數(shù)據(jù)一致就可以了。這樣，在傳統(tǒng)數(shù)據(jù)庫解決不了企業(yè)應(yīng)用的問題時，就會出現(xiàn)分布式數(shù)據(jù)庫解決方案。分布式的數(shù)據(jù)庫解決方案并不代表傳統(tǒng)數(shù)據(jù)庫的終結(jié)，分布式數(shù)據(jù)庫有自己的應(yīng)用領(lǐng)域，但傳統(tǒng)的數(shù)據(jù)庫也仍有自身的用武之地。未來，分布式數(shù)據(jù)庫和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫應(yīng)該是互相彌補、互相結(jié)合的。

3分布式數(shù)據(jù)庫在上網(wǎng)記錄查詢方面的優(yōu)勢分析

    分布式數(shù)據(jù)庫系統(tǒng)是在集中式數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上發(fā)展來的，分布式數(shù)據(jù)庫系統(tǒng)設(shè)計時基于硬件錯誤是常態(tài)，而不是基于異常、簡單的一致性模型、大規(guī)模數(shù)據(jù)集、異構(gòu)軟硬件平臺間的可移植性、移動計算比移動數(shù)據(jù)更劃算等設(shè)計理念，因此分布式數(shù)據(jù)庫從誕生之日起，就非常適合查詢類應(yīng)用。比較分布式數(shù)據(jù)庫系統(tǒng)與集中式數(shù)據(jù)庫系統(tǒng)，可以發(fā)現(xiàn)分布是數(shù)據(jù)庫系統(tǒng)具有下列優(yōu)點：

    （1）更適合分布式的管理與控制。分布式數(shù)據(jù)庫系統(tǒng)的結(jié)構(gòu)更適合具有地理分布特性的組織或機構(gòu)使用，允許分布在不同區(qū)域、不同級別的各個部門對其自身的數(shù)據(jù)實行局部控制。例如：實現(xiàn)全局?jǐn)?shù)據(jù)在本地錄入、查詢、維護，這時由于計算機資源靠近用戶，可以降低通信代價，提高響應(yīng)速度，而涉及其他場地數(shù)據(jù)庫中的數(shù)據(jù)只是少量的，從而可以大大減少網(wǎng)絡(luò)上的信息傳輸量；同時，局部數(shù)據(jù)的安全性也可以做得更好。

    （2）具有靈活的體系結(jié)構(gòu)。集中式數(shù)據(jù)庫系統(tǒng)強調(diào)的是集中式控制，物理數(shù)據(jù)庫是存放在一個場地上的，由一個DBMS集中管理。多個用戶只可以通過近程或遠程終端在多用戶操作系統(tǒng)支持下運行該DBMS來共享集中數(shù)據(jù)庫中的數(shù)據(jù)。而分布式數(shù)據(jù)庫系統(tǒng)的場地局部DBMS的自治性，使得大部分的局部事務(wù)管理和控制都能就地解決，只有在涉及其他場地的數(shù)據(jù)時才需要通過網(wǎng)絡(luò)作為全局事務(wù)來管理。分布式DBMS可以設(shè)計成具有不同程度的自治性，從具有充分的場地自治到幾乎是完全集中式的控制。

    （3）系統(tǒng)經(jīng)濟，可靠性高，可用性好。與一個大型計算機支持一個大型的集中數(shù)據(jù)庫再加一些進程和遠程終端相比，由超級微型計算機或超級小型計算機支持的分布式數(shù)據(jù)庫系統(tǒng)往往具有更高的性價比和實施靈活性。分布式系統(tǒng)比集中式系統(tǒng)具有更高的可靠性和更好的可用性。如由于數(shù)據(jù)分布在多個場地并有許多復(fù)制數(shù)據(jù)，在個別場地或個別通信鏈路發(fā)生故障時，不致于導(dǎo)致整個系統(tǒng)的崩潰，而且系統(tǒng)的局部故障不會引起全局失控。

    （4）在一定條件下響應(yīng)速度加快。如果存取的數(shù)據(jù)在本地數(shù)據(jù)庫中，那么就可以由用戶所在的計算機來執(zhí)行，速度就快。

    （5）可擴展性好，易于集成現(xiàn)有系統(tǒng)，也易于擴充。

4系統(tǒng)整體架構(gòu)

    整個系統(tǒng)的架構(gòu)分為三個層次，即由底層的分布式文件系統(tǒng)、Map/Reduce計算模型和上層的分布式數(shù)據(jù)庫構(gòu)成。其中底層的分布式文件系統(tǒng)和Map/Reduce計算模型采用開源的Hadoop來實現(xiàn)，上層的分布式數(shù)據(jù)庫是Hadoop的開源子項目HBase，最后由ZooKeeper來實現(xiàn)分布式協(xié)同服務(wù)。整個系統(tǒng)的調(diào)度關(guān)系如圖2所示。

    圖2系統(tǒng)調(diào)度關(guān)系

    按照整個系統(tǒng)的需求，將系統(tǒng)劃分為三個子系統(tǒng)：數(shù)據(jù)采集子系統(tǒng)、分布式數(shù)據(jù)庫平臺和數(shù)據(jù)的分析和挖掘系統(tǒng)，如圖3所示。

    圖3三個不同的子系統(tǒng)

    數(shù)據(jù)采集子系統(tǒng)對信令分析系統(tǒng)產(chǎn)生的用戶上網(wǎng)詳單數(shù)據(jù)進行實時解析，然后調(diào)用分布式數(shù)據(jù)框架hadoop的接口將數(shù)據(jù)導(dǎo)入到分布式數(shù)據(jù)庫中；分布式數(shù)據(jù)庫平臺建立在分布式文件系統(tǒng)HDFS之上，由HDFS負責(zé)文件的復(fù)制、校驗、備份等操作，分布式數(shù)據(jù)主要負責(zé)提供數(shù)據(jù)封裝接口，根據(jù)數(shù)據(jù)特點建立數(shù)據(jù)模型，實現(xiàn)keyvalue的數(shù)據(jù)庫查詢；數(shù)據(jù)的分析和挖掘子系統(tǒng)調(diào)用底層的分布式數(shù)據(jù)庫HBase接口，實現(xiàn)數(shù)據(jù)查詢、分析、展現(xiàn)等功能，同時給其他系統(tǒng)提供基本的功能接口。

    整個系統(tǒng)的功能結(jié)構(gòu)描述如圖4所示。

    圖4系統(tǒng)功能結(jié)構(gòu)

5結(jié)論

    本文以上網(wǎng)記錄查詢系統(tǒng)為例，重點敘述了分布式數(shù)據(jù)庫中涉及的關(guān)鍵技術(shù)和以分布式為基礎(chǔ)的用戶上網(wǎng)記錄查詢系統(tǒng)的體系架構(gòu)。基于軟件低成本的分布式存儲和分布式數(shù)據(jù)庫，已經(jīng)成為未來云存儲發(fā)展的一種趨勢，從技術(shù)本身的發(fā)展來說，隨著分布式數(shù)據(jù)庫的不斷發(fā)展，將在更多的領(lǐng)域得到廣泛應(yīng)用。這種基于軟件的云存儲憑借著低成本、易管理等優(yōu)勢，和現(xiàn)有的各類數(shù)據(jù)應(yīng)用相結(jié)合，實現(xiàn)快速落地，服務(wù)于企業(yè)，服務(wù)于用戶。我們有充分的理由相信，這種以分布式文件系統(tǒng)和分布式數(shù)據(jù)庫為代表的云存儲將得到更多企業(yè)的青睞。