我們先撇開DT不說,我們先來看一看IT。
從1936年圖靈機的發明,到1945年馮.諾依曼機的出現,這些都是計算機發展的基石,甚至于往后各種大型、小型計算機的誕生,嚴格意義上來說,這都不是IT。真正IT技術的開始應該是萬維網的發明,這標志著信息進入了互聯的時代。
國內互聯網技術的發展比國外稍微的晚了那么幾年,但其發展勢頭遠非其他國家能比。1997年,中國只有60萬網民,而現在已經超過了6億,其增長速度可見一斑。可以說,如今互聯網已經影響到了人們衣食住行的方方面面。
這是一個IT時代,對于這個定論,或許大部分人都不會反對。但是有一天,有人突然對你說:人類正在從IT時代步入到DT時代(數據科技時代),我們一只腳已經踏入了數據科技時代?
為何這么突然?
這并不突然,這一切的一切都是那么有預見性!
DT時代來臨:變革在悄然發生
數據科學家一詞,最早是在2009年被提出來的。當然,它的提出并不是一個轟動性的事件,甚至還有很多人并不贊成突然出現這一科學分支。
然而就在幾個月前,有人在騰訊科技上發表了一篇文章《數據科學家可能成為2015年最熱門職業》,我們暫且不去評論這篇文章的觀點是否正確,但是它已經給出了一個信息:數據,已經引起了人們的“警惕”。
如今,在各大招聘網站,我們可以隨意搜索一下“數據挖掘”,各大公司針對于這個崗位的需求如同雨后春筍般的出現。同樣,通過各個招聘網站平臺等,我們可以發現不斷有新的職位名稱被創新出來,如數據工程師、數據分析工程師、Hadoop工程師等等。
數據挖掘工程師這個崗位或許早就有了,那么大數據挖掘工程師呢?一字之差,蘊含的意義卻相隔千里。或許有人會說,這些都是從程序猿、攻城獅的角度看到的,這并不能代表宇宙大眾的意思。好吧,我們換個思路來思考這個問題。不過咱還是接著說招聘,我曾寫過一篇關于大數據時代招聘模式的文章,分析了一下招聘網站到底“懂不懂”我們(求職者)需要什么。
其實答案是顯而易見的,我們打開了一個招聘網站,呈現在我們面前的是一個個我們想要投遞的職位;我們打開一個電影,側欄顯示的是一個個相關的電影,要么恰巧是同類型的,要么恰巧是同一個演員的電影;我們在網上購物,底欄顯示的恰巧是你需要的東西。好吧,不止如此,我們看文章、搜索問題、網上預約旅行甚至是看新聞,總是會在一些不經意的角落里發現我們剛好需要的信息。好巧。
這并不是巧合,個性化定制已經體現在我們生活中的方方面面。我們暫且不去考慮這個個性到底有多個性,不可否認的是,與傳統的信息展現來對比,它的確是起作用了。
是的,我們猛然發現:人,作為一個在互聯網上主動尋求信息的主體,已經開始變得“被動”起來了。曾幾何時,信息已經開始變得如此“主動”,但是,這一切讓我們感到又是那么自然。究其所因,其背后的數據是“罪魁禍首”。是的,數據把我們“出賣”了。
我突然想到了前一段時間發生的一個事,出于某種原因,我需要一批小企業、小公司的聯系方式。按照我們傳統的做法,肯定是找相關領域的人,依賴其關系脈絡,拿到這一批聯系方式。但是我突然發現,我們在相關領域并沒有熟識的朋友,或者說即使有,也不可能拿到足夠的聯系信息。
我以智聯招聘為源頭,使用爬蟲、網頁信息提取、數據分析挖掘等相關技術拿到了一批數據——近3000多個企業郵箱。風過留痕,雁過留聲,如今是一個互聯網“橫行”的時代,只要是個行為實體,總是會在互聯網上留下足跡的。
這次的事讓我再一次感嘆互聯網信息量的浩瀚、偉大。信息技術“滄海桑田”般的快速變遷,十幾年積累的底蘊,互聯網上蘊含信息就如同一座巨大的金山。“卑微”如斯的人都能從中“竊取”一份小小的財富,那么浩瀚地球中的其他萬千大眾呢?數據竟然已經變得如此有用,數據的影響力竟然強大如斯!這一切的變化是那么的順其自然,是那么的悄無聲息。
或許,真如馬云所言:人類正從IT時代走向DT時代!
DT時代的骨骼:大數據處理平臺的衍變
在數據處理需求急劇上升的今天,是什么在支撐著數據的變現?是的,正是數據處理平臺,或者換種說法:一套完整的數據處理流程。
從數據的采集、清洗、流式實時計算、數據落地。在大多數時候,這一套完整的流程過后(或許會沒有流式實時計算),這才真正進入數據的價值挖掘階段,包括了數據的離線計算,通過一系列的建模挖掘其隱含的商業價值。
當然,在大數據遍地的今天,數據的收集也好、處理也好、挖掘也好,我們想必也要加一個“大”字了。那么,在DT時代來臨的今天,能夠支撐這一流程得以流通的正是數據平臺,或者說是大數據處理平臺,它將是支撐DT時代來臨的骨骼!
當然,大數據處理平臺也不是一開始存在的,它是在經歷過一系列的衍變之后,才形成今天我們看到的,或這或那的數據平臺形式。
就在不久前,我曾在storm-分布式-IT技術群中發起了一次近千人的話題討論(當然,實際參與討論的人遠沒有這么多,很大一部分人還是喜歡靜靜的圍觀的),其核心就是當前互聯網公司中大數據平臺發展的現狀。
當時的討論過程很劇烈,匯聚了各個企業公司的大牛小牛、程序猿、設計獅、產品狗,總之各種“動物”都有,眾說紛紜,各有各的觀點看法,但總體來說就目前幾種大數據平臺的形態,大家還是有比較一致的看法的。
1、大數據處理平臺的終極形態:深度挖掘
數據已經完美流通,包括了完整的大規模數據采集系統、數據預處理清洗系統、數據流式實時計算系統、大規模數據存儲系統、大規模離線計算系統;擁有全面的數據監控調度系統,能夠方便地低成本地進行數據流程監控、調度,實時掌握數據的動態變化;擁有完善符合自身業務需求的機器學習算法庫,數據挖掘層面,已經進入了數據深層挖掘階段。
其中以BAT為代表。在國內,BAT一向是技術的引領者,因此他們在數據價值挖掘這一方面,也確實做到了領先地步。
2、其次是大數據平臺完善,處于數據淺層挖掘狀態
同樣,這種形態的企業公司,數據平臺的數據已經完全打通,他們已經在開始嘗試挖掘數據的潛在價值,意圖達成數據的變現。
當然,或許是由于技術積累的問題,或許是人力物力的原因,他們并沒有能力做深一層的探索、挖掘,但是他們卻一直在努力。他們缺少是一套完善的,適合自己的,又能夠方便使用的數據挖掘庫。
處于這種形態的公司也不少,諸如CSDN、去哪兒、藝龍等等,他們在個性化的道路上孜孜不倦地探索著。
3、數據流通,處于數據統計分析階段
這種形態的數據中心,大規模數據處理平臺已經基本搭建,數據已經能夠流通,處于大規模數據的統計分析階段。
這種類型的公司,他們更多傾向于對
數據倉庫的建立,對大批量數據進行存儲、統計并且分析數據的走勢以及變化。所以,就Hadoop生態來說,他們可能更傾向于使用Hive之類的技術或者工具。
處于這種形態的公司是占大多數的,典型如剛組建大數據部門的短短一年時間的360,當然還有很多很多類似的公司,數不勝數。他們希望摸清楚自己到底掌握了什么樣的數據,這些數據到底是怎么變化的,通過對這些數據的了解以及掌控,他們才能更好做出更合理的商業決策。
在不久的將來,在他們已經充分掌握了數據的規律,他們也必然會向數據潛在價值挖掘方向努力。
4、數據整合,平臺搭建階段
這種形態下,數據尚未流通,整個體系尚未搭建起來。
或者說,很多企業公司,在以往的情況下,各個部門產品,其數據都是分開維護的。需要維護多份數據,成本高;數據的利用率低,數據不連通。
他們意圖將數據進行整合,有一套完整的收集、清洗以及落地的流程,因此,他們尤其缺少懂得數據收集、數據清晰以及數據大規模落地的人才。或者,換個更通俗的說法,他們缺少懂得Hadoop生態平臺的人。
這種公司也不少,諸如金山的西山居,智能手機界的黑馬小米等。
5、數據量不夠,但然仍意圖搭建一個大數據處理平臺
這一部分公司大部分都是小公司,在數據量層面上,他們并沒有很急切的需求,去搭建起一套完善的數據處理平臺。
或許是受大數據潮流影響,但是,從長遠的角度來看,隨著數據量的增長,這也必然是一個趨勢。所以,他們往往也會花費少量的人力物力,在這一方面上進行技術預研,或者搭建起一個簡單的小規模數據處理平臺。
其實,簡單來看,這是大數據處理平臺的五種不同形態,但這又何嘗不是大數據處理平臺的一個衍變過程呢?!在DT時代來臨的今天,你是否清楚自己處于一個什么的位置,將來又會向何處發展變遷?
只有將骨骼搭建起來了,我們才能、才有資格去談論如何挖掘數據的潛在價值。我們不止需要骨骼來支撐DT這一體系,更需要源源不斷的血液來激發它的活力。
DT時代的血液:數據從何而來
如果說大數據處理平臺是支撐DT的骨骼,那么數據就是DT的血液,如何造血就是大家需要關注的問題了。
1、企業的業務數據
數據最直接來源就是各個企業公司自己產生的業務數據,或許是某些公司擁有很強的預見性,多年前就已經開始收集自己的數據,也或許是他的無意之舉,但不管怎么樣,他把自己的歷史數據給保留了下來。當然,有部分公司,本身產生數據的速度就足夠快,數據量也足夠多,他們就不必擔心這個問題了。
2、互聯網的隱藏數據
前不久,有一個朋友在群里問了一個比較復雜問題,是關于數據抓取解析方面的。可能是他問的問題太深奧,也可能是恰巧群里大牛都不在,總之就是沒有人解決。
有人就問了:“哥們,你研究這個這么深干嘛?”
他回答了一句:“抓取數據啊,難道你們研究處理的數據不是從網上抓取的嗎?”
這句話讓我猛然驚醒:有人已經開始向互聯網這座公共金山動手了。十幾年的底蘊,隱藏了多少數據財富?在DT時代來臨的今天,必定會越來越多的人去挖掘它的價值,只不過這需要一定的技術、一定手段而已。
3、移動互聯網數據的暴漲
相對于互聯網,移動互聯網的發展歷史并不長,但他的發展可謂是日新月異。如今,隨著智能手機的普及,3G、4G網絡的推廣,移動互聯網產生的數據正在處于爆炸似得增長,這是一座新的數據金山,需要我們去開采它。
4、傳統以及線下數據的接入整合
隨著總理的一句“互聯網+”,傳統行業開始紛紛與互聯網結合,這帶來的最直接影響是:線下數據的接入與整合。
或許有人會說:傳統行業能有多少數據。可千萬不能小看傳統行業的數據,畢竟他們有著近乎數十年,遠超于互聯網的歷史,其累計的數據量亦不可小看。
隨著“互聯網+”的進一步發展,線下接入的數據也將是DT時代的血液之一。
5、網連萬物:萬物都可以產生數據
說到
物聯網,其實很多年前就有人說它一定會火起來,但是之前卻一直沒有火起來。究其因,不在乎兩個:一是移動網絡成本過高;二是終端感應技術尚未發展到這個階段。
但如今不一樣了,隨著3G、4G網絡的普及,移動網絡成本大幅度下降;智能終端感應技術的快速發展也讓
物聯網這一技術方向不再是概念。我們可以看到,眾多互聯網公司已經開始紛紛布局智能領域了,包括智能家居、智能交通、智慧城市、智能辦公等等。
在DT時代,感應終端也將是一個巨大的數據產生源,一個DT時代造血的源頭。
在DT時代即將來臨的今天,不止是數據處理以及數據獲取這兩個方面值得我們反思,還有其他的方方面面需要我們去思考。通過不斷的反思,不斷的改進,我們做好最充分的準備,迎接DT時代的到來!
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:DT時代變革的反思:為何這么突然?
本文網址:http://www.guhuozai8.cn/html/support/11121818262.html