課程目標
深入理解華為大數據平臺與技術及應用,了解大數據主流技術、大數據場景化解決方案、離線批處理、實時檢索、實時流處理、融合數倉、大數據應用開發(fā)流程等內容,掌握華為大數據平臺和關鍵組件的開發(fā)流程、接口,掌握典型場景的開發(fā)方法、勝任大數據 開發(fā)者工作崗位
課程大綱
模塊一 大數據應用開發(fā)總指導
1.大數據主流技術
2.大數據場景化解決方案
3.大數據應用開發(fā)
模塊二 大數據離線處理場景化解決方案
1.離線批處理場景方案
2. 離線批處理框架的介紹、技術原理、參數屬性、重要配置等,包括數據存儲 HDFS,數據倉庫 Hive,離線分析 SparkSQL,數據采集工具 Loader、Sqoop 等
3. 離線批處理實際案例 ?
模塊三 大數據實時檢索場景化解決方案 ??
1.實時檢索場景方案
2.分布式數據庫介紹、技術原理、參數屬性、重要配置等,包括 HBase、ElasticSearch、GraphBase 等
3.實時檢索實際案例
模塊四 大數據實時流計算場景化解決方案
1.實時流計算應用方案
2.實時流計算組件的介紹、技術原理、參數屬性、重要配置等,包括 Flume、Kafka、Flink、
SparkStreaming、Redis 等
3.實時流處理配置方案及成功案例
模塊五 大數據融合數倉場景化解決方案
1.數據倉庫背景介紹
2.GaussDB 200 介紹
3.融合數倉案例