原文《大數據中心架構、大數據存儲、數據中心基礎設施建設和運維方案》更多相關資料參考公眾號：優享智庫

大數據中心雲架構設計

大數據云中心包括iaas、paas、saas三層服務。

大數據中心數據處理

大數據服務中心建設

數據服務中心是整個智慧項目大數據項目核心組成部分，在規劃建設過程中，堅持以數據資源為核心，面向數據應用與服務、信息數據資源標準化與管理，實現數據資源橫向集成、縱向貫通、全局共享的運轉模式。數據服務中心數據流轉圖和邏輯架構如下圖。

整個數據服務中心邏輯組成部分有：數據存儲、數據組織、數據處理、資源管理、數據服務支撐。

數據存儲：基於大規模並行處理（Massively Parallel Processing，簡稱MPP）、Hadoop等分布式計算平台進行搭建，以滿足項目行業結構化、圖像視音頻等非結構化多種類型格式的海量數據資源存儲需求。

數據組織：對各類數據資源進行邏輯組織，形成基礎數據資源庫、專題應用資源庫以及資源管理庫，滿足項目行業數據資源應用、管理與服務的需求。

數據處理：主要包括數據整合匯集、數據標準化處理、通用數據處理、專題數據處理。從多個層面對數據資源進行分析挖掘，為不同業務需求提供數據處理服務支撐。

資源管理：資源管理從應用資源、數據資源、服務資源以及標準資源多個層面實現數據服務中心信息資源的管理與標準建設。

數據服務支撐：數據服務中心實現了智慧項目雲數據資源的存儲和組織。主要包括基礎數據資源庫、專題應用資源庫和資源管理庫。

數據分析處理：面向具體業務需求，建立對應的數據分析處理模型，實現對數據資源的深度挖掘和綜合利用。

大數據平台建設

數據集中統一管理後，由於一體化業務為在線運行的系統，為避免大數據應用對現有生產系統造成影響，本期單獨建設一套大數據平台，通過ETL將生產數據抽取到大數據平台中，進行分析處理，建立數據倉庫，為上層應用提供支撐。

基於大數據等新先進理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系統等數據處理技術，構建具有海量數據處理能力的項目大數據平台技術支撐體系。有效匯總整合內外部數據資源，實現對數據資源的統一管理、高度共享和高效利用，解決數據資源海量化、異構化，應用需求多樣化、複雜化等現實問題，進一步提升信息資源開發利用水平，提升信息資源服務的能力和服務品質，深層次滿足上層業務應用、管理決策支持和信息再生應用的需要，達到強化情報信息數據支撐，服務實戰應用的目的。

完整的大數據集群應當包含4大部分：ETL集群、MPP集群、Hadoop集群和數據倉庫，提供從數據抽取、清洗、轉換、加載到數據存儲計算及數據倉庫建設的一整套完整的大數據解決方案。各節點通過萬兆網口連接，滿足集群網絡IO密集型的要求。

• ETL集群建議不少於1個節點，完成從各種數據源抽取、清洗、轉化和加載數據到大數據集群的工作。

• MPP集群建議不少於2個節點。MPP集群負責結構化數據的存儲與計算。

• Hadoop集群至少應包含6個節點，以滿足數據多個備份的高可靠性要求。Hadoop集群負責非結構化和半結構化數據的存儲與計算。

• 數據倉庫節點，將ETL集群、MPP集群和Hadoop集群導入的高度提煉匯總後的數據進行存儲和分析，滿足專業應用需要。

流程如下圖所示：

數據標準化建設

數據標準化是數據服務中心建設的基礎。在項目建設時根據項目信息資源標準，並根據實際情況進行完善。數據服務中心數據標準化工作主要以下幾個層面出發進行建設：

l 數據內容標準化

通過依據現有相關標準內容，對整合的各類數據資源進行標準化處理，形成標準化數據資源，從而對各個項目業務部門提供標準化的數據資源服務。

l 資源管理標準化

通過對項目信息資源註冊、梳理、對標等一系列的工作，建立標準化的資源管理機制，實現對智慧項目全部信息化資源的標準化管理。以管理推動項目信息標準化應用工作，逐步實現項目信息化建設的規範化、標準化。

l 標準化建設

數據標準化工作是一項長期的過程，隨著信息化的升級和深入，智慧項目數據標準體系也在逐漸完善，所以通過制定相應的信息管理規範，必要時制定相關信息管理制度，來規範和長期完善數據標準管理平台，保證數據資源標準化工作開展和標準化工作成果的形成。

標準體系建設是智慧項目信息化的重要組成部分，也是項目信息化建設的基礎，並貫穿項目信息化工作始終。

數據標準管理的主要作用有以下內容：一是對外應用系統提供標準化服務支撐，例如標準代碼字典服務、項目主數據服務等，逐步實現項目信息建設的標準化。二是規範智數據服務中心內容，為數據服務中心標準數據資源庫建設提供建設依據，同時基於數據服務中心對外應用系統提供標準化的數據資源服務。三是對數據資源管理提供標準化服務支撐，通過項目數據元標註實現數據資源的標準化關聯。

數據資源標準（數據元標準、元數據標準、數據服務接口、數據傳輸和存儲規範等）是項目信息化標準體系中的核心和關鍵內容，須優先編制和修訂。

主題庫目錄建設

本期將智慧項目一體化業務系統資料庫數據通過ETL工具抽取到大數據平台上進行存儲和分析，並按照業務應用具體需要，通過二次抽取整合的方式，建立相應主題庫，為上層應用提供支撐。