大數(shù)據(jù)是當今科技行業(yè)發(fā)展速度最快的領域之一大數(shù)據(jù)具有前所未有的大量化、快速化和多樣化三大特點,這些是許多新技術背后的驅動力,這些技術可幫助企業(yè)處理大數(shù)據(jù)帶來的多種新問題
在諸多的新興解決方案中,Hadoop和MapReduce被視為兩種大有希望的方法,可高效管理和分析大數(shù)據(jù)。但目前針對MapReduce應用的運行時引擎還無法提供足夠功能來滿足食業(yè)希單在生產(chǎn)環(huán)境中部署MapReduce應用的實際需求。
對企業(yè)IT部門來說,先進的運行時引擎應該是這樣一種管理工具:它可以住滿足高標準服務水平協(xié)議( SLA)的同時,支持企業(yè)里的各業(yè)務部門。這類管理工具應該能夠支持混合類型的工作負載,包括MapReduce應用及業(yè)務部門在共享式網(wǎng)格上智能化提交的其他應用。
此外,如今的IT部門正在經(jīng)歷重大轉變在許多情況下,IT部門不再只是個成本中心,相反,它被視為支持企業(yè)里各業(yè)務部門的服務提供者預算有限、工作負載需求加大,使得IT部門面臨巨大的壓力,必須進一步允分利用現(xiàn)有的基礎架構,最大限度地提高總的資源利用率
為了支持MapReduce應用等新型應用,IT部門迫切需要一種共享式服務運行時平臺以獲得更好的性能、更高的資源利用率、自動監(jiān)控和診斷功能,同時也需要IT基礎架構能提供更高級的應用生命周期支持
何謂共享式服務模型?
共享式服務模型是指這樣一種基礎架構平臺:它允許多個應用(無論其類型和要求是什么)能夠在共享式基礎架構上并行執(zhí)行,共享式服務模型常常由一種先進的應用調度和資源管理引擎來管理,為它所支持的企業(yè)里的多個業(yè)務部門提供有保障的服務。
共享式服務IT模型提供以下幾個好處:少花錢多辦事、迅速獲得基礎架構方面的投資回報、提供更好的可管理性、有更好的可擴展性和靈活性以支持不斷變化的應用需求、利用收費政策,讓IT部門的角色從成本中心轉變成盈利中心。
現(xiàn)有的Hadoop MapReduce運行時引擎面臨的挑戰(zhàn)
遺憾的是,目前MapReduce運行時引擎的Hadoop實現(xiàn)無法提供上述的共享式服務功能,這歸因于Hadoop作業(yè)跟蹤器(HadoopJobTracker)的基本架構設計-Hadoop作業(yè)跟蹤器是一個管理層,在運行期間為MapReduce作業(yè)提供必要的服務。
目前的Hadoop作業(yè)跟蹤器還無法把作業(yè)調度邏輯與資源管理邏輯分離開來,這直接導致了下列重大缺陷:
·缺少企業(yè)級能力。在任何一個時間,只有一個MapRedure應用可以在集群上運行。因而,資源變成了靜態(tài)的和用途單一的;而應用也是串行執(zhí)行,而不是并行執(zhí)行,導致無法有效地利用資源、形成煙囪式的IT環(huán)境,限制了可擴展性。
·作業(yè)跟蹤器成為單一故障點。如果作業(yè)跟蹤器出現(xiàn)故障,所有運行中的作業(yè)都將停止。
很顯然,目前Hadoop作業(yè)跟蹤器能力有限,無法提供IT部門生產(chǎn)級環(huán)境中都暑MapReduce應用所需的共享式服務功能。如何部署共享式服務模型?
企業(yè)應該視不同的業(yè)務要求使用以下方法部署共享式服務模型:
1.“煙囪式共享模型”——為不同的業(yè)務部門提供有保障的資源。IT部門根據(jù)不同業(yè)務部門的特定需求,為它們提供有保障的資源業(yè)務部門向集中式IT部門請求一定數(shù)量的資源,專門供自己使用:然后,那些請求被定義為策略,加入到資源分配方案中。不同業(yè)務部門之間不共享資源,集中式IT部門負責管理資源分配,系統(tǒng)監(jiān)控和故障排除
2.“代理式共享模型”——企業(yè)內(nèi)部跨各職能領域的資源共享。企業(yè)內(nèi)部的不同職能部門共享一組通用的IT資源,資源共享策略根據(jù)不同業(yè)務部n的特定需求來予以定義,然后加入到資源分配方案中,不是為某個業(yè)務部門單獨分配靜態(tài)資源,而是通過動態(tài)共享整個基礎架構,從而為用用戶提供有保障的資源。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/
本文標題:共享式服務應對大數(shù)據(jù)挑戰(zhàn)
本文網(wǎng)址:http://www.guhuozai8.cn/html/support/1112156006.html