課程描述INTRODUCTION
Hadoop大數據平臺課程培訓
日程安排SCHEDULE
課程大綱Syllabus
Hadoop大數據平臺課程培訓
【課程背景】
數字化浪潮是人類正在經歷的第五次信息革命。數字化一方面使得信息的搜集、存儲、處理、分發(fā)具有了前所未有的效率;另一方面,使得信息從其附著物上分離出來,得以獨立于實物、空間和時間而存在。數字化是大數據的根本。大數據的本質是對事物規(guī)律的深刻洞察。學習大數據需要掌握其特征描述,包括大數據的技術特征和大數據的價值邏輯。本次課程授課范圍為大數據的技術特征。本課程分為理論和實踐兩部分。理論部分主要帶學員了解大數據的基本概念和關鍵技術,介紹當前大數據平臺的基本架構,重點介紹Hadoop生態(tài)系統框架及其HDFS、YARN、MapReduce2.0、Hbase、Zookeeper等組件的原理及應用。帶學員了解Hadoop大數據平臺的運維,幫助學員建立完整的大數據認知體系。實踐課程為Hadoop實驗課程。帶領學員動手搭建Hadoop環(huán)境,完成Spark計算框架的搭建,完成XXX和XXX兩個操作實驗。
【課程特點】
授課形式:理論講解+動手實驗
時間安排:系統學習1天(6小時)
理論講解與動手實驗相結合。其中理論講解占50%,動手實驗占50%。
【課程收益】
1.了解大數據的基本概念、發(fā)展歷程、主流技術和應用場景等。通過分析大數據平臺在建設、生產和運維過程中出現的問題,幫助學員逐步形成解決問題的思路。
2.通過實驗課程掌握Hadoop生態(tài)系統基本組件的運用。學會使用MapReduce和Spark計算框架解決實際問題。
【受眾對象】
1.云計算和電信行業(yè)領域的技術人員、管理人員、政企客戶經理、產品經理、項目經理
2.管理支持組織中數據中心運行、規(guī)劃、設計負責人
3.希望提升自身職業(yè)能力的人員、其他對大數據技術感興趣的人員
【課程內容】
一.大數據基本概念及關鍵技術
1.大數據的基本概念
●信息革命與數字化浪潮
●大數據的產生背景定義和特征
●大數據與云計算的關系
●大數據的影響
●大數據在行業(yè)的價值體現
2.大數據的關鍵技術
●傳統架構的局限性
●大數據理論基礎
●大數據總體架構和關鍵技術
●大數據匯聚
●大數據處理
●大數據分析
●大數據展現
●大數據開放
二.大數據平臺架構
1.大數據平臺詳細架構
●大數據平臺功能邏輯架構
●Hadoop集群架構
●MPP集群架構
●流處理+內存數據庫架構
●大數據平臺數據流程
●大數據平臺的管理
●大數據平臺能力開放
2.行業(yè)大數據平臺
●某運營商大數據平臺
●某銀行大數據平臺
●某互聯網公司大數據平臺
三.Hadoop生態(tài)系統
1.初識Hadoop
●Hadoop生態(tài)系統
●Hadoop歷史版本變遷介紹
●Hadoop基本組件
2.Hadoop三大組件的原理
●分布式文件系統原理
●HDFS原理
●HDFS讀寫過程
●MapReduce基本原理
●MapReduce框架
●Wordcount案例
●MapReduce內部邏輯
●資源管理系統YARN
●YARN的作用
●YARN的基本原理
3.Hadoop生態(tài)系統
●Hadoop1.0~Hadoop3.0演進歷史
●Hive和Pig優(yōu)劣勢
●Mahout工具
●Hbase原理
●Hbase數據模型
●Hbase物理模型
●ZooKeeper
●Sqoop
●Flume
四.Hadoop平臺運維
1.Hadoop平臺運維
●自動擴縮容
●資源監(jiān)控
●資源分配管理
●權限管理
●平臺容災
2.Hadoop平臺運維案例
●Hadoop集群訪問安全控制
●Hadoop存儲共享計算隔離設計
●實時查詢庫Hbase多實例
●Flume集群高可用
●HDFS磁盤檢查機制優(yōu)化
五.動手實驗
1)Hadoop安裝
●Hadoop安裝-獲取linux操作系統
●Hadoop安裝-安裝JDK
●Hadoop安裝-配置hadoop
2)Hadoop的核心-HDFS簡介
●數據管理策略
●HDFS特點
●HDFS文件讀寫操作
3)Hadoop的核心-MapReduce原理與實現
●MapReduce的原理
●MapReduce的運行流程
●實驗一:WordCount單詞計數實例
●分片輸入—Map—Shuffle—Reduce過程總結
4)開發(fā)Hadoop應用程序
●相似度算法
●基于物品的推薦算法原理
●基于物品的推薦算法實戰(zhàn)
●實驗總結
補充章節(jié) 人工智能
1)未來已來
2)人工智能概念和應用
3)機器學習原理
4)云計算和大數據驅動深度學習
5)機器學習平臺架構
Hadoop大數據平臺課程培訓
轉載:http://www.nywlwx.com/gkk_detail/36883.html
已開課時間Have start time
- 唐杰