400-123-4567

新聞資訊

< 返回列表當(dāng)前位置：首頁 > 新聞資訊 > 行業(yè)資訊 > 網(wǎng)站資訊

數(shù)據(jù)平臺設(shè)計思路：跨越大數(shù)據(jù)與業(yè)務(wù)的鴻溝，解決數(shù)據(jù)開發(fā)痛點,建設(shè)網(wǎng)站電話發(fā)布日期：2024-11-10 00:00:00 瀏覽次數(shù)：

近年來，隨著IT技術(shù)、大數(shù)據(jù)、機器學(xué)習(xí)、算法的不斷發(fā)展，越來越多的企業(yè)認(rèn)識到了數(shù)據(jù)的價值，將數(shù)據(jù)作為自己的寶貴資產(chǎn)進行管理，并利用大數(shù)據(jù)和機器學(xué)習(xí)的能力挖掘、識別和利用數(shù)據(jù)資產(chǎn)。如果缺乏有效的整體數(shù)據(jù)架構(gòu)設(shè)計或者某些能力的缺失，業(yè)務(wù)層將很難直接利用大數(shù)據(jù)。大數(shù)據(jù)和商業(yè)將會產(chǎn)生巨大的差距。這種差距的出現(xiàn)，就會導(dǎo)致企業(yè)在使用大數(shù)據(jù)的過程中出現(xiàn)問題。數(shù)據(jù)不可知，需求難以實現(xiàn)，數(shù)據(jù)難以共享。本文介紹了一些數(shù)據(jù)平臺的設(shè)計思路，幫助企業(yè)減少數(shù)據(jù)開發(fā)的痛點和難點。

本文主要包括以下章節(jié)：

本文第一部分介紹了大數(shù)據(jù)的基本組成和相關(guān)知識。

第二部分將介紹架構(gòu)和kappa架構(gòu)。

第三部分將介紹kappa架構(gòu)模型下的通用大數(shù)據(jù)架構(gòu)。

第四部分介紹了暴露的數(shù)據(jù)架構(gòu)體系下數(shù)據(jù)的端到端難點和痛點。

第五部分介紹優(yōu)秀大數(shù)據(jù)架構(gòu)的總體設(shè)計

從第五部分開始，我們將介紹如何通過各種數(shù)據(jù)平臺和組件，將這些大數(shù)據(jù)組件組合起來，打造高效易用的數(shù)據(jù)平臺，提高業(yè)務(wù)系統(tǒng)的性能，讓業(yè)務(wù)開發(fā)不再是害怕復(fù)雜的數(shù)據(jù)開發(fā)組件。無需關(guān)注底層實現(xiàn)。您只需要能夠使用SQL完成一站式開發(fā)，完成數(shù)據(jù)回流，讓大數(shù)據(jù)不再是數(shù)據(jù)工程師的專屬技能。

1. 大數(shù)據(jù)技術(shù)棧

大數(shù)據(jù)的整體流程涉及多個模塊，每個模塊都比較復(fù)雜。下圖列出了這些模塊和組件及其功能特性。會有專題詳細介紹相關(guān)模塊領(lǐng)域的知識，如數(shù)據(jù)采集、數(shù)據(jù)傳輸、實時計算等。、離線計算、大數(shù)據(jù)存儲等相關(guān)模塊。

2.架構(gòu)和kappa架構(gòu)

目前基本上所有的大數(shù)據(jù)架構(gòu)都是基于kappa和kappa架構(gòu)。不同的公司根據(jù)這兩種架構(gòu)模型來設(shè)計適合自己公司的數(shù)據(jù)架構(gòu)。該架構(gòu)使開發(fā)人員能夠構(gòu)建大規(guī)模分布式數(shù)據(jù)處理系統(tǒng)。它具有良好的靈活性和可擴展性，對硬件故障和人為錯誤的容忍度也很高。你可以在網(wǎng)上找到很多關(guān)于該架構(gòu)的相關(guān)文章。 kappa架構(gòu)解決了架構(gòu)中兩套數(shù)據(jù)處理系統(tǒng)帶來的各種成本問題。這也是目前批量集成的研究方向。許多公司已經(jīng)開始使用這種更先進的架構(gòu)。

建筑學(xué)

卡帕建筑

3、Kappa架構(gòu)及架構(gòu)下的大數(shù)據(jù)架構(gòu)

目前各大公司基本都采用kappa架構(gòu)或者架構(gòu)模式。這兩種模式下，發(fā)展初期的大數(shù)據(jù)整體架構(gòu)可能如下：

4.數(shù)據(jù)端到端痛點

雖然上面的架構(gòu)看似將多種大數(shù)據(jù)組件串聯(lián)起來進行集成管理，但是接觸過數(shù)據(jù)開發(fā)的人都會強烈感受到，這樣的裸架構(gòu)進行業(yè)務(wù)數(shù)據(jù)開發(fā)需要注意很多基礎(chǔ)工具的使用。在實際的數(shù)據(jù)開發(fā)中存在很多痛點和難點，具體體現(xiàn)在以下幾個方面。

如果沒有數(shù)據(jù)開發(fā)IDE來管理整個數(shù)據(jù)開發(fā)流程，長期流程就無法管理。

沒有標(biāo)準(zhǔn)的數(shù)據(jù)建模體系，導(dǎo)致數(shù)據(jù)工程師對指標(biāo)的理解不同、計算口徑不同。

大數(shù)據(jù)組件的開發(fā)要求較高，普通業(yè)務(wù)直接使用Hbase、ES等技術(shù)組件會出現(xiàn)各種問題。