在過去的幾年里，人們從知道大數(shù)據(jù)的概念，發(fā)展到一些組織能夠真正實(shí)施一些大數(shù)據(jù)項(xiàng)目。然而，在一些組織的數(shù)據(jù)中心團(tuán)隊(duì)負(fù)責(zé)實(shí)施這些業(yè)務(wù)驅(qū)動(dòng)的舉措之后，現(xiàn)在才開始認(rèn)識(shí)到實(shí)現(xiàn)真正大數(shù)據(jù)集成的復(fù)雜性和深度。

大數(shù)據(jù)通過人們生活，工作平臺(tái)，應(yīng)用程序，以及設(shè)備提供了多種格式的大量的數(shù)據(jù)。大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的內(nèi)容往往使用戶非常難以訪問和分析所需的信息。

現(xiàn)代數(shù)據(jù)中心往往是一個(gè)復(fù)雜的系統(tǒng)，相互連接的服務(wù)器和設(shè)備存儲(chǔ)，處理和分發(fā)各種來源的大量信息。但智能大數(shù)據(jù)整合，在改造傳統(tǒng)的信息系統(tǒng)，可以緩解從地理位置分散的網(wǎng)站，甚至其他數(shù)據(jù)中心的聚集和分析信息的斗爭。

如果一個(gè)數(shù)據(jù)中心是一個(gè)組織的大腦，那么可以認(rèn)為其數(shù)據(jù)源就是反饋給神經(jīng)和細(xì)胞的信息。智能大數(shù)據(jù)集成意味著該組織的“神經(jīng)系統(tǒng)”，為整個(gè)企業(yè)快速傳達(dá)信息，為現(xiàn)代商業(yè)生態(tài)系統(tǒng)起著至關(guān)重要的作用。但這也意味著數(shù)據(jù)中心的管理人員將獲得他們尋求的準(zhǔn)確和高效的數(shù)據(jù)處理的安全性，質(zhì)量，控制和管理。

從哪里開始

任何大數(shù)據(jù)項(xiàng)目的目的是為了獲得更好的結(jié)果，其中包括直接進(jìn)行實(shí)時(shí)洞察和基于循環(huán)模式的長期觀點(diǎn)，但首先你必須克服早期的集成挑戰(zhàn)。所以要問你自己：

· 你所有的關(guān)鍵數(shù)據(jù)來自哪里？

· 你的組織如何聚合并快速移動(dòng)所有的數(shù)據(jù)？

· 如何分析可用的數(shù)據(jù)是否有價(jià)值？

· 通過在技術(shù)和基礎(chǔ)設(shè)施方面的投資，你的企業(yè)如何才能最大限度地發(fā)揮價(jià)值？

最終，大數(shù)據(jù)整合攝入，準(zhǔn)備和提供的數(shù)據(jù)，不管是什么來源。這包括利用在企業(yè)每一類型的數(shù)據(jù)，包括復(fù)雜的，往往是非結(jié)構(gòu)化的機(jī)器產(chǎn)生的數(shù)據(jù)，這通常需要一個(gè)更加融合的數(shù)據(jù)中心的基礎(chǔ)設(shè)施。

因此，第一步驟，可以說是最重要的一步，是整合所有可用的數(shù)據(jù)。以下是確定你的大數(shù)據(jù)集成項(xiàng)目有效實(shí)施的三個(gè)關(guān)鍵領(lǐng)域。

（1）可靠的數(shù)據(jù)流

攝入大數(shù)據(jù)到一個(gè)平臺(tái)，像ApacheHadoop這樣的平臺(tái)是不夠智能的，不足以啟動(dòng)一個(gè)Hadoop集群，輸入所有類型的數(shù)據(jù)，并得出具有突破性的新見解，展現(xiàn)自己。大數(shù)據(jù)行業(yè)廠商似乎每一個(gè)星期都在發(fā)布新的工具和升級(jí)版本，甚至將某一技術(shù)引入到你的堆棧，雖然功能并不強(qiáng)大，但卻可以使你的整個(gè)平臺(tái)過時(shí)。

這是常見的企業(yè)應(yīng)用程序和集群之間的經(jīng)驗(yàn)數(shù)據(jù)流和數(shù)據(jù)退化問題。因此，大多數(shù)反應(yīng)涉及手工編碼正在嘗試努力工作，并拋棄一些其他類型的技術(shù)。通常情況下，這是一個(gè)解決方案。但這不是最終的解決辦法。

采用一個(gè)安全的，敏捷的集成平臺(tái)，專注于調(diào)動(dòng)實(shí)際的數(shù)據(jù)流進(jìn)出數(shù)據(jù)中心的管道，確保在越來越復(fù)雜的工作場所的生態(tài)系統(tǒng)進(jìn)行可靠的信息交換。

（2）可擴(kuò)展性

目前存在一些主要的整合，治理和安全問題，需要針對(duì)不同層次的大數(shù)據(jù)采取不同的舉措，特別是在數(shù)據(jù)中心。我們今天正在經(jīng)營業(yè)務(wù)在其規(guī)模和信息方面日益龐大，這使得數(shù)據(jù)成為“大數(shù)據(jù)”。而人們需要跨越地域和傳統(tǒng)的數(shù)據(jù)中心來管理大數(shù)據(jù)，那些過時(shí)陳舊的工具已經(jīng)嚴(yán)重低估了現(xiàn)代需求。

隨著企業(yè)的發(fā)展和新的數(shù)據(jù)源開始發(fā)揮作用，需要增加不同的技術(shù)，你的系統(tǒng)將無一例外地必須適應(yīng)。如果你將現(xiàn)在的問題通過手工編碼解決，當(dāng)你試圖擴(kuò)展之后，會(huì)不會(huì)在擁有它以后拋棄它？

簡單地增加更多的工作人員或代碼的問題并不是一個(gè)可擴(kuò)展的策略，也不會(huì)解決復(fù)雜的大數(shù)據(jù)傳輸問題。需要有一個(gè)堅(jiān)實(shí)的數(shù)據(jù)集成和管理平臺(tái)下的商業(yè)智能工具，可以輕松地?cái)U(kuò)展，采用眾多的大數(shù)據(jù)工具，并且其來源而不中斷。

（3）數(shù)據(jù)質(zhì)量，分類，治理

而從結(jié)構(gòu)化數(shù)據(jù)出來的CRM和ERP應(yīng)用程序通常很好地進(jìn)行企業(yè)的分析，但它是非結(jié)構(gòu)化的數(shù)據(jù)，更加難以管理。企業(yè)必須以某種方式治理信息混亂，因?yàn)榧词故亲钚〉臄?shù)據(jù)質(zhì)量的問題也會(huì)產(chǎn)生巨大的錯(cuò)誤。成功的公司在元數(shù)據(jù)級(jí)別上做到這一點(diǎn)。

通過元數(shù)據(jù)定義信息是至關(guān)重要的，因?yàn)樗峁┝藖碜源髷?shù)據(jù)的結(jié)構(gòu)，幫助進(jìn)行分類和整理這些信息以后可以輕松找到。當(dāng)信息流動(dòng)到你的數(shù)據(jù)湖，必須進(jìn)行某種分類，因此你正在做分析的數(shù)據(jù)實(shí)際上是準(zhǔn)確的。

企業(yè)在錯(cuò)誤的數(shù)據(jù)方面浪費(fèi)了一些技術(shù)周期，特別是昂貴的今天。所有這些質(zhì)量和分類必須在某一點(diǎn)上進(jìn)行，但它應(yīng)該在早期的水平，即使在集成周期。企業(yè)認(rèn)為在數(shù)據(jù)質(zhì)量的早期可以得到更好的，更有價(jià)值的分析。

總結(jié)：

每一個(gè)組織都會(huì)成為一個(gè)數(shù)據(jù)組織，或是被甩在后面。是什么使一個(gè)公司可以獨(dú)有他們的數(shù)據(jù)，并更好地使用數(shù)據(jù)。因此，一個(gè)成功的大數(shù)據(jù)項(xiàng)目最終取決于一個(gè)組織的捉捕其數(shù)據(jù)的能力。

快速攝入和處理的大數(shù)據(jù)，需要一個(gè)可靠的集成基礎(chǔ)設(shè)施，可以很容易地?cái)U(kuò)展以容納大量的數(shù)據(jù)量，驅(qū)動(dòng)實(shí)時(shí)訪問，并支持每一個(gè)請(qǐng)求分析。利用信息，以獲得競爭優(yōu)勢，這聽起來很偉大，但只有可靠準(zhǔn)確地集成了所有的數(shù)據(jù)源之后，才能建立一個(gè)可用的數(shù)據(jù)湖。

當(dāng)正確的信息傳遞給正確的人，所以可以理解并采取行動(dòng)最大限度地提高大數(shù)據(jù)整合的價(jià)值。但是，只有當(dāng)企業(yè)支持提供了大數(shù)據(jù)下的投資和可靠的集成平臺(tái)，他們將獲得每個(gè)企業(yè)都在尋求大數(shù)據(jù)的最佳回報(bào)。