強強聯手 | 尚矽谷&騰訊雲EMR離線數倉教程發布

尚硅谷教育 發佈 2023-01-06T07:03:39.516376+00:00

騰訊雲EMR是由騰訊雲打造的線上租賃式大數據解決方案平台,一站式高效部署。使用便攜,沒有繁瑣的配置文件,直接線上修改配置;應用靈活,可以選擇騰訊雲提供的服務,也可以自行安裝搭建服務。本套離線數倉項目由尚矽谷和騰訊雲官方聯合推出。

騰訊雲EMR是由騰訊雲打造的線上租賃式大數據解決方案平台,一站式高效部署。使用便攜,沒有繁瑣的配置文件,直接線上修改配置;應用靈活,可以選擇騰訊雲提供的服務,也可以自行安裝搭建服務。本套離線數倉項目由尚矽谷和騰訊雲官方聯合推出。

項目基於騰訊雲EMR平台打通數據採集通道,從數倉建模到逐層構建離線數倉,擁有完整的數倉建模理論及建模過程,且在構建過程中採用了騰訊雲EMR平台組件和原生組件相結合的方式,讓企業在組件選擇上更加靈活。通過本套教程的學習,你將全方位掌握騰訊雲大數據服務組件的使用和調優!

教程目錄

01.騰訊雲EMR離線數倉教程簡介

02.採集模塊介紹

03.課程目標

04.數據倉庫概念

05.項目需求

06.技術選型

07.數據流程設計

08.框架版本選型

09.伺服器選型

10.集群規模&規劃

11.電商業務簡介

12.選購EMR集群

13.遠程連接

14.修改主機名

15.配置主機映射

16.配置免密登錄

17.電商業務數據分析

18.上傳資料包

19.MySQL安裝與啟動

20.遠程連接MySQL&建庫建表

21.業務數據生成

22.Kafka服務安裝

23.Kafka服務群起&測試

24.Flume&同步策略和工具概述

25.開啟MySQL Binlog 配置信息

26.開啟MySQL Binlog 測試

27.使用Sqoop完成全量數據同步

28.增量數據同步數據通道

29.Flink部署

30.FlinkCDC簡單代碼說明

31.FlinkCDC簡單代碼本地測試

32.FlinkCDC完整代碼說明

33.FlinkCDC完整代碼打包測試

34.Flume配置文件

35.增量數據同步測試

36.Flume腳本完成

37.構建離線數倉文檔說明

38.數據倉庫概述

39.建模準備工作

40.建模具體工作

41.Hive環境準備-修改配置

42.Hive環境準備-測試

43.Yarn環境準備

44.開發環境準備說明

45.ODS層-建表

46.ODS層-裝載數據

47.DIM層-商品維度表

48.DIM層-優惠券維度表

49.DIM層-活動維度表

50.DIM層-地區維度表

51.DIM層-用戶維度表

52.DWD層-加購事實表

53.DWD層-下單事實表

54.DWD層-取消訂單事實表

55.DWD層-其他事實表&腳本封裝

56.DWD層-數據展示

57.DWS層-交易域用戶商品粒度訂單需求-需求分析

58.DWS層-交易域用戶商品粒度訂單需求-建表&裝載數據

59.DWS層-交易域用戶商品粒度退單需求-建表&裝載數據

60.ADS層-品牌訂單統計

61.ADS層-交易綜合統計

62.數據可視化-建表&導出數據

63.數據可視化-最終總結

關鍵字: