課程描述INTRODUCTION
Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析培訓班
日程安排SCHEDULE
課程大綱Syllabus
Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析培訓班
一、 課程介紹
1.需求理解
Hadoop 設計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性,正是這些設計上與生俱來的優(yōu)點,才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞,同時也引起了研究界的普遍關(guān)注。
對電信運營商而言,用戶上網(wǎng)日志包含了大量用戶個性化需求、喜好信息,對其進行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營分析系統(tǒng)小型機加關(guān)系型數(shù)據(jù)庫的架構(gòu)無法滿足對海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺,引入大數(shù)據(jù)處理技術(shù)的方式,實現(xiàn)高效率、低成本、易擴展的經(jīng)營分析系統(tǒng)混搭架構(gòu)成為電信運營商最為傾向的選擇。本課程將全面介紹Hadoop平臺開發(fā)和運維的各項技術(shù),對學員使用該項技術(shù)具有很高的應用價值。
2.培訓課程架構(gòu)與設計思路
(1)培訓架構(gòu):
本課程分為三個主要部分:
第一部分:重點講述大數(shù)據(jù)技術(shù)在的應用,使學員對大數(shù)據(jù)技術(shù)的廣泛應用有清晰的認識,在這環(huán)節(jié)當中會重點介紹Hadoop技術(shù)在整個大數(shù)據(jù)技術(shù)應用中的重要地位和應用情況。
第二部分:具體對hadoop技術(shù)進行模塊化分拆,從大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應用談起,介紹Hadoop技術(shù)各主要應用工具和方法,以及在運維維護當中的主流做法,使學員全面了解和掌握Hadoop技術(shù)的精華。
第三部分:重點剖析大數(shù)據(jù)的應用案例,使學員在案例當中對該項技術(shù)有更深入的感觀印象
(2)設計思路:
本課程采用模塊化教學方法,以案例分析為主線,由淺入深、循序漸進、由理論到實踐操作進行設計。
(3)與企業(yè)的貼合點:
本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略,圍繞企業(yè)大數(shù)據(jù)業(yè)務及行業(yè)應用市場拓展發(fā)展目標,重點講授Hadoop的應用技術(shù),提升企業(yè)IT技術(shù)人員的開發(fā)和運維能力,有很強的貼合度。
二、培訓對象
各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員,運營商 IT信息化和運維工程師相關(guān)人員,金融業(yè)信息化相關(guān)人員,或?qū)Υ髷?shù)據(jù)感興趣的相關(guān)人員。
三、培訓目標
掌握大數(shù)據(jù)處理平臺(Hadoop、Spark、Storm)技術(shù)架構(gòu)、以及平臺的安裝部署、運維配置、應用開發(fā);掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術(shù)架構(gòu)和實際應用;利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術(shù)應用;講解Hadoop生態(tài)系統(tǒng)組件,包括Storm,HDFS,MapReduce,HIVE,Hbase,Spark,GraphX,MLib,Shark, ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)
四、培訓大綱
(1)課程框架
時間培訓內(nèi)容教學方式
第一天上午第一部分:移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹 第二部分:大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向理論講授+案例分析
下午第三部分:大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應用 第四部分:Hadoop文件系統(tǒng)HDFS*實戰(zhàn)理論講授+案例分析+小組討論
第二天上午第五部分:Hadoop運維管理與性能調(diào)優(yōu) 第六部分:*SQL數(shù)據(jù)庫Hbase與Redis理論講授+案例分析+實戰(zhàn)演練
下午第七部分:類SQL語句工具——Hive 第八部分:數(shù)據(jù)挖掘SPARK建?;A(chǔ)介紹理論講授+案例分析+實戰(zhàn)演練
第三天上午第九部分:Kafka基礎(chǔ)介紹 第十部分:大數(shù)據(jù)典型應用與開發(fā)案例分析:互聯(lián)網(wǎng)數(shù)據(jù)運營理論講授+案例分析
下午第十一部分:當前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例 第十二部分:課程總結(jié)與問題答疑 評估培訓理論講授+案例分析+小組討論
第四天學員考試與業(yè)界交流
課程內(nèi)容:
模塊一:移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算相關(guān)技術(shù)介紹
1、數(shù)據(jù)中心與云計算技術(shù)應用
2、智慧城市與云計算技術(shù)應用
3、移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算關(guān)聯(lián)技術(shù)
4、移動云計算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈
5、大數(shù)據(jù)技術(shù)在運營商、金融業(yè)、銀行業(yè)、電子商務行業(yè)、零售業(yè)、制造業(yè)、政務信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應用實踐
6、國內(nèi)外主流的大數(shù)據(jù)解決方案介紹
7、當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較
8、Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析
9、開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
模塊二:大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
1、大數(shù)據(jù)時代的挑戰(zhàn)
.戰(zhàn)略決策能力
.技術(shù)開發(fā)和數(shù)據(jù)處理能力
.組織和運營能力
2、大數(shù)據(jù)時代的發(fā)展方向
.云計算是基礎(chǔ)設施架構(gòu)
.大數(shù)據(jù)是靈魂資產(chǎn)
.分析、挖掘是手段
.發(fā)現(xiàn)和預測是最終目標
3、大數(shù)據(jù)挖掘在各行業(yè)應用情況
.電信行業(yè)應用及案例分析
.互聯(lián)網(wǎng)行業(yè)應用及案例分析
.金融行業(yè)應用及案例研究
.銷售行業(yè)應用案例分析
模塊三:大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應用
1、Hadoop的發(fā)展歷程
.Hadoop大數(shù)據(jù)平臺架構(gòu)
.基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機制
.Hadoop 的核心組件剖析
2、分布式文件系統(tǒng)HDFS
.概述、功能、作用、優(yōu)勢
.應用范疇、應用現(xiàn)狀
.發(fā)展趨勢
3、分布式文件系統(tǒng)HDFS架構(gòu)及原理
.核心關(guān)鍵技術(shù)
.設計精髓
.基本工作原理
.系統(tǒng)架構(gòu)
.文件存儲模式
.工作機制
.存儲擴容與吞吐性能擴展
4、分布式文件系統(tǒng)HDFS操作
.SHELL命令操作
.I/O流式操作
.文件數(shù)據(jù)讀取、寫入、追加、刪除
.文件狀態(tài)查詢
.數(shù)據(jù)塊分布機制
.數(shù)據(jù)同步與一致性
.元數(shù)據(jù)管理技術(shù)
.主節(jié)點與從節(jié)點工作機制
.大數(shù)據(jù)負載均衡技術(shù)
.HDFS大數(shù)據(jù)存儲集群管理技術(shù)
5、Hadoop生態(tài)系統(tǒng)組件
.Storm
.HDFS
.MapReduce
.HIVE
.Hbase
.Spark
.GraphX
.MLib
.Shark
模塊四:Hadoop文件系統(tǒng)HDFS*實戰(zhàn)
1、HDFS的設計
2、HDFS的概念
.數(shù)據(jù)塊
.namenode和datanode
.聯(lián)邦HDFS
.HDFS的高可用性
3、命令行接口
4、Hadoop文件系統(tǒng)
5、Java接口
.從Hadoop URL讀取數(shù)據(jù)
.通過FileSystem API讀取數(shù)據(jù)
.寫入數(shù)據(jù)
.目錄
.查詢文件系統(tǒng)
.刪除數(shù)據(jù)
6、數(shù)據(jù)流 .剖析文件讀取
.剖析文件寫入
.一致模型
7、通過Flume和Sqoop導入數(shù)據(jù)
8、通過distcp并行復制
9、Hadoop存檔
.使用Hadoop存檔工具
.不足
模塊五:Hadoop運維管理與性能調(diào)優(yōu)
1、第二代大數(shù)據(jù)處理框架
.Yarn的工作原理及
.DAG并行執(zhí)行機制
.Yarn大數(shù)據(jù)分析處理案例分析
.Yarn 框架并行應用程序?qū)嵺`
2、集群配置管理
.Hadoop集群配置
.Hadoop性能調(diào)優(yōu)與參數(shù)配置
.Hadoop機架感知策略與配置
.Hadoop壓縮機制
.Hadoop任務負載均衡
.Hadoop 集群維護
.Hadoop監(jiān)控管理
3、HDFS的靜態(tài)調(diào)優(yōu)技巧
.HDFS 的高吞吐量I/O性能調(diào)優(yōu)技巧
.MapReduce/Yarn的并行處理性能調(diào)優(yōu)技巧
.Hadoop集群的運行故障剖析,以及解決方案
.基于Hadoop大數(shù)據(jù)應用程序的性能瓶頸剖析與提
.Hadoop 大數(shù)據(jù)運維監(jiān)控管理系統(tǒng) HUE 平臺的安裝部署與應用配置
.Hadoop運維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部配置
.Hadoop 集群運維系統(tǒng) Ganglia, Nagios的安裝部署與應用配置
模塊六:*SQL數(shù)據(jù)庫Hbase與Redis
1、*SQL基礎(chǔ)
.CAP理論
.base與ACID
.*SQL數(shù)據(jù)庫存儲類型 鍵值存儲 列存儲 文檔存儲 圖形存儲
2、Hbase分布式數(shù)據(jù)基礎(chǔ)
3、安裝Hbase
4、Hbase應用
.Hbase的邏輯數(shù)據(jù)模型,Hbase的表、行、列族、列、單元格、版本、row key排序
.Hbase的物理模型,命名空間(表空間)、表模式(Schema)的設計法則
.Hbase 主節(jié)點HMaster的工作原理,HMaster的高可用配置,以及性能調(diào)優(yōu)
.Hbase 從節(jié)點RegionServer(分區(qū)服務節(jié)點)的工作原理,表分區(qū)及存儲I/O高并發(fā)配置,以及性能調(diào)優(yōu)
.Hbase的存儲引擎工作原理,以及Hbase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu),以及HFile存儲結(jié)構(gòu)剖析
.Hbase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作 .Hbase集群的安裝部署、參數(shù)配置和性能優(yōu)化
5、Hbase分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應用場景、工作原理、以及應用優(yōu)勢與不足之處
.Hbase分布式數(shù)據(jù)庫集群的主從式平臺架構(gòu)和關(guān)鍵技術(shù)剖析
.Hbase偽分布式和物理集群分布式的控制與運行配置
.Hbase從節(jié)點RegionServer(分區(qū)服務節(jié)點)的工作原理,表分區(qū)及存儲I/O高并發(fā)配置,以及性能調(diào)優(yōu)
.Hbase的存儲引擎工作原理,以及Hbase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu),以及HFile存儲結(jié)構(gòu)剖析
.Hbase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作
.Hbase集群的安裝部署、參數(shù)配置和性能優(yōu)化
.ZooKeeper分布式協(xié)調(diào)服務系統(tǒng)的工作原理、平臺架構(gòu)、集群部署應用實戰(zhàn)
.ZooKeeper集群的原理架構(gòu),以及應用配置
6、Redis內(nèi)存數(shù)據(jù)庫介紹,以及業(yè)界應用案例
.Redis內(nèi)存數(shù)據(jù)庫集群架構(gòu)以及核心技術(shù)剖析
.Redis 集群的安裝部署與應用開發(fā)實戰(zhàn)
模塊七:類SQL語句工具——Hive
1、安裝Hive
2、示例
3、運行Hive
.配置Hive
.Hive服務
.metastore
4、Hive與傳統(tǒng)數(shù)據(jù)庫相比
.讀時模式vs.寫時模式
.更新、事務和索引
5、HiveQL
.數(shù)據(jù)類型
.操作與函數(shù)
6、表
.托管表和外部表
.分區(qū)和桶
.存儲格式
.導入數(shù)據(jù)
.表的修改
.表的丟棄
7、查詢數(shù)據(jù)
.排序和聚集
.MapReduce腳本
.連接
.子查詢
.視圖
8、用戶定義函數(shù)
.寫UDF
.寫UDAF
模塊八:數(shù)據(jù)挖掘SPARK建?;A(chǔ)介紹
1、Spark簡介
.Spark是什么
.Spark生態(tài)系統(tǒng)BDAS
2、Spark架構(gòu)
.Spark分布式架構(gòu)與單機多核架構(gòu)的異同
3、Spark集群的安裝與部署
.Spark的安裝與部署
.Spark集群初試
4、Spark硬件配置
.Spark硬件
.Spark硬件配置流程
模塊九:Kafka基礎(chǔ)介紹
1、Kafka介紹
2、kafka體系結(jié)構(gòu)
3、kafka設計理念簡介
4、kafka通信協(xié)議
5、kafka的偽分布安裝、集群安裝
6、kafka的shell操作、java操作
7、kafka設計理念*
8、kafka producer和consumer開發(fā)
9、Kafka分布式消息訂閱系統(tǒng)的應用介紹、平臺架構(gòu)、集群部署與配置應用實戰(zhàn)
10、Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應用實戰(zhàn)
11、Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應用實踐,
12、Sqoop導入導出數(shù)據(jù)以及Sqoop集群部署與配置
13、Kettle 集群的平臺架構(gòu)、核心技術(shù)、部署配置和應用實戰(zhàn)
14、利用Sqoop實現(xiàn) MySQL 與 Hadoop 集群之間
模塊十:大數(shù)據(jù)典型應用與開發(fā)案例分析:互聯(lián)網(wǎng)數(shù)據(jù)運營
1、案例1:貴州數(shù)據(jù)交易中心
.交易所交易形式:電子交易
.交易所服務:大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購、大數(shù)據(jù)平臺技術(shù)開發(fā)
.大數(shù)據(jù)交易安全性探討分析 .數(shù)據(jù)交易中心商業(yè)模式探討分析
2、案例2:大數(shù)據(jù)應用案例:公共交通線路的智能規(guī)劃
.UrbanInsights:為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務
.Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉庫、數(shù)據(jù)分析——設計運營線路
.Urban Insights通過互聯(lián)網(wǎng)數(shù)據(jù)的運營
3、討論:浙江移動大數(shù)據(jù)應用與開發(fā)方向
模塊十一:當前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運營商、互聯(lián)網(wǎng)公司為例
1、流商業(yè)大數(shù)據(jù)解決方案比較
2、主流開源云計算系統(tǒng)比較.
3、國內(nèi)外代表性大數(shù)據(jù)平臺比較.
4、各廠商*的大數(shù)據(jù)產(chǎn)品介紹
5、案例分析 .Facebook的SNS平臺應用
.Google的搜索引擎應用
.Rackspace的日志處理 .Verizon成立精準市場營銷部
.TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務
.中國聯(lián)通的“移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”
五、師資介紹
張老師:阿里大數(shù)據(jù)高級專家,國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家,對HDFS、MapReduce、Hbase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進行了多年的深入的研究,更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應用,因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有:某電信集團網(wǎng)絡優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。
六、頒發(fā)證書
參加相關(guān)培訓并通過考試的學員,可以獲得:
工業(yè)和信息化部頒發(fā)的-《大數(shù)據(jù)應用開發(fā)工程師證書》。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。注:請學員帶一寸彩照2張(背面注明姓名)、身份證復印件一張。
Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析培訓班
轉(zhuǎn)載:http://www.nywlwx.com/gkk_detail/65288.html
已開課時間Have start time
大數(shù)據(jù)課程內(nèi)訓
- 大數(shù)據(jù)行業(yè)的現(xiàn)狀與熱點 徐全
- 數(shù)字化轉(zhuǎn)型與新質(zhì)生產(chǎn)力 盧森煌
- 管理者數(shù)據(jù)能力晉級 宋致旸
- 《企業(yè)數(shù)據(jù)管理與數(shù)據(jù)資產(chǎn)化 張光利
- 《零售行業(yè)社群團購運營》 陳蕊
- 企業(yè)區(qū)塊鏈技術(shù)的應用場景與 李璐
- 數(shù)字金融與智能金融下的智慧 盧森煌
- 《小紅書運營策劃與執(zhí)行》 黃光偉
- 數(shù)字經(jīng)濟基礎(chǔ)和企業(yè)數(shù)字化轉(zhuǎn) 盧森煌
- 數(shù)字媒體和數(shù)字教學 鐘理勇
- 商業(yè)銀行數(shù)據(jù)治理體系建設實 馬慶
- 大數(shù)據(jù)時代下服務營銷新思維 秦超