223頁10萬字大數據中心總體架構及數據倉庫頂層設計解決方案WORD

優享智慧方案 發佈 2023-12-07T22:32:30.786801+00:00

原文《大數據中心總體架構及數據倉庫頂層設計解決方案》WORD格式,共223頁約10萬字主要從大數據中心設計原則、大數據中心邏輯架構設計、大數據中心邏輯模型設計、數據倉庫設計(數據倉庫設計原則、主題域模型設計、概念模型設計、邏輯模型設計)、數據應用流程等進行建設。

原文《大數據中心總體架構及數據倉庫頂層設計解決方案》WORD格式,共223頁約10萬字主要從大數據中心設計原則、大數據中心邏輯架構設計、大數據中心邏輯模型設計、數據倉庫設計(數據倉庫設計原則、主題域模型設計、概念模型設計、邏輯模型設計)、數據應用流程等進行建設。適用於售前項目匯報、項目規劃、領導匯報、招投標技術文件使用。

來源網絡,旨在交流學習,如有侵權,聯繫速刪,更多參考公眾號:優享智庫

本項目中,資料庫設計與建設包括用於數據中心進行數據存儲、交換、應用的數據中心資料庫,和用於數據統計、分析、挖掘的數據倉庫的設計與建設。

數據中心是存儲XXX經過篩選、去重、整理後的核心業務、人員數據等信息,整合了全市各類主體信息資源和市場主體、人員相關的信息資源,並進行統一管理和維護;數據中心通過深入挖掘數據價值,開發實現靈活、高效的數據查詢、業務報表、數據共享和數據交換等功能,為政務公開、業務協同、績效考核、決策支持、公共服務等提供數據保障。

數據中心邏輯架構設計

根據XXXXXXXXX工程建設規劃要求,基於統一的數據標準,建設以業務數據為基礎,以數據共享為主線,以提高數據資源價值為目標,涵蓋數據採集、數據治理、數據利用等各方面的,全市大集中的XXX市XXX工程數據中心,並使其成為XXXXXXXXX工程數據的存儲中心、管理中心、交換中心和服務中心。


數據中心邏輯模型設計

在業務梳理、業務數據分析的基礎上,將XXX工程數據資源進行分析、歸整,形成XXX工程數據中心整體的數據邏輯模型。如下圖:


1、業務數據

業務數據也可以稱為生產數據,在業務開展過程中形成,主要記錄和存儲業務處理的原始信息,是對XXX工程各業務系統業務處理過程所涉及信息的全面反映,包括各類業務處理的業務管理數據以及政務管理數據,因此,業務數據是市場監督管理的核心數據。業務數據包括:行政許可數據、市場監管數據、執法辦案數據以及政務管理數據等。

2、決策支持數據

決策支持數據是按照面向分析主題,對業務數據進行二次加工形成的面向管理和決策服務的數據。XXX工程決策支持數據可以分為兩大類,一類是按照管理服務對象為核心重新組織的業務主體數據,例如市場主體數據、廣告數據、合同數據等;另一類是匯總統計、分析挖掘後形成的數據,主要是對報表匯總、數據綜合利用、信息挖掘後形成的結果信息的記錄。

3、共享交換數據

共享交換數據主要是實現XXX工程內各系統之間,以及與外系統之間的數據交換與共享。共享交換數據主要包括廣東省工商局、質監局、知識產權局交換數據、XXXXXX工程內部交換數據、各級政府及委辦局交換數據(各級市場監督管理系統與同級政府、委辦局的交換數據)、公共服務數據等。

4、基礎規範數據

基礎規範數據用於對整個系統基礎的信息資源進行約束。基礎規範數據主要包括資源目錄體系、標準代碼數據、數據字典等。

5、系統管理數據

系統管理類數據是一種公共的、基礎的環境數據,一般包括系統環境數據,如系統環境參數信息、系統運行狀態信息等描述系統運行環境的數據,以及機構、用戶、權限、日誌等描述業務運行基礎和環境的數據。

6、元數據

元數據是描述數據及其環境的數據,主要包括各類系統使用的共享元數據和各類系統自主元數據。

數據倉庫主題域模型設計

主題資料庫是經科學規劃,面向業務主體的數據組織存儲形式。主題庫的結構設計與應用處理過程相分離,能有效實現數據的關聯和共享,降低大型信息系統的開發和維護成本。

系統設計中一般有三類主題組織形式:

  • 面向業務管理的數據主題

按照業務領域建立業務主題。

  • 面向管理服務對象的數據主題

按照管理服務對象來組織相關數據。例如:經濟戶籍主題、商品(食品)主題、價格(收費)主題、人員信息主題等。

  • 決策分析主題

按照決策分析需求組織數據,例如:轄區經濟秩序評價主題、企業信用分類主題、人員績效考核主題。

數據應用流程

數據應用的總體流程如下所示:


根據應用需要,以及資料庫的規劃,將數據應用分為操作型數據處理、分析型數據處理。

操作型數據處理主要是針對OLTP類型的應用提供數據服務,主要是向業務信息綜合應用系統中的核心業務類應用,如主體登記子系統、綜合監管子系統、消保維權子系統、行政處罰子系統等核心業務類應用以及部分的內部政務管理類應用提供聯機的數據處理服務。

分析型數據處理主要是針對OLAP類型的應用提供數據服務,主要是向數據中心系統、管理決策支持系統,如數據ETL過程、數據加工、數據統計分析、數據挖掘等提供數據處理服務。

1、一體化業務資料庫

從整體上看,操作型數據處理是數據資源的基本生產單元,綜合信息化管理系統生成並使用各類業務數據。操作型數據一方面來自於各業務應用系統業務辦理過程的產出,另一方面來源於經數據共享交換自相關系統傳遞過來的外部數據。以主體登記為例,業務辦理過程產出的申請案數據,屬於操作型數據。

2、ODS數據

ODS數據即數據中心數據。根據定義,ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特徵和OLTP系統的部分特徵,它是「面向主題的、集成的、當前或接近當前的、不斷變化的」數據。

仍以主體登記為例,一家企業開設後,數據根據企業變更、遷移等各類業務不斷變化,隨時間遷移會增加出相關的監管、年檢、處罰各類數據。對於主體登記,此時基於業務申請數據,產生實體數據(ODS數據)概念。一家企業的實體數據指通過歷次申請沉澱,集成各類附加信息,反映企業當前情況的數據。此例反映出ODS數據由操作型數據不斷更新,面向主題,當前或接近當前並且不斷變化的特徵。通過此例,也反映出對於市場監督管理數據倉庫建設,ODS是不可或缺的一部分。

3、ETL

由於操作型數據不直接產生,而需要經過篩選才能產生ODS數據。例如,企業的ODS數據中不需要業務申請的辦理人、辦理過程,因為其不直接反映企業現狀,這個篩選過程被稱為ETL過程(採集、轉換、傳輸、裝載)。通過分析型數據處理的數據ETL過程(採集、轉換、傳輸、裝載)將各類業務數據資源歸集到數據中心的ODS數據中。

4、分析數據

ODS本身可以提供主題數據,通過ODS數據的加工處理(統計定製和模型建立),可形成各類統計分析數據。

在ODS基礎上進行數據的分析挖掘、綜合利用,產生的分析型數據處理是數據資源的綜合利用的核心。

5、元數據

在數據倉庫領域中,元數據被定義為:描述數據及其環境的數據。

元數據有兩方面的用途。首先,元數據能輔助應用,如記錄數據項的業務描述信息的元數據能幫助用戶使用數據;其次,元數據能支持系統對數據的管理和維護,如關於數據項存儲方法的元數據能支持系統以最有效的方式訪問數據。具體來說,在數據倉庫系統中,元數據機制主要支持以下五類系統管理功能:(1)描述哪些數據在數據倉庫中;(2)定義要進入數據倉庫中的數據和從數據倉庫中產生的數據;(3)記錄根據業務事件發生而隨之進行的數據抽取工作時間安排;(4)記錄並檢測系統數據一致性的要求和執行情況;(5)衡量數據質量。

對元數據進行管理,可形成XXX工程數據資源目錄管理應用。

6、共享交換數據

通過數據中心的共享交換服務,對外提供數據交換和信息服務,對內進行跨業務領域、跨系統的數據共享使用。

關鍵字: