課程描述INTRODUCTION
Python實(shí)現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
日程安排SCHEDULE
課程大綱Syllabus
Python實(shí)現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
【課程目標(biāo)】
Python已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的*語言,作為除了Java、C/C++/C#外*的語言。
本課程基于Python工具來實(shí)現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項(xiàng)目?;跇I(yè)務(wù)問題,在數(shù)據(jù)挖掘標(biāo)準(zhǔn)過程指導(dǎo)下,采用Python分析工具,實(shí)現(xiàn)數(shù)據(jù)挖掘項(xiàng)目的每一步操作,從數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、數(shù)據(jù)可視化,到最終數(shù)據(jù)挖掘結(jié)束,幫助學(xué)員掌握Python用于數(shù)據(jù)挖掘,提升學(xué)員的數(shù)據(jù)化運(yùn)營及數(shù)據(jù)挖掘的能力。
通過本課程的學(xué)習(xí),達(dá)到如下目的:
1、全面掌握Python語言以及其編程思想。
2、掌握常用擴(kuò)展庫的使用,特別是數(shù)據(jù)挖掘相關(guān)庫的使用。
3、學(xué)會使用Python完成數(shù)據(jù)挖掘項(xiàng)目整個過程。
4、掌握利用Python實(shí)現(xiàn)可視化呈現(xiàn)。
5、掌握數(shù)據(jù)挖掘常見算法在Python中的實(shí)現(xiàn)。
【授課時間】2~5天時間
(全部模塊講完需要5天時間,可以根據(jù)時間需求拆分內(nèi)容模塊)。
【授課對象】業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
課程為實(shí)戰(zhàn)課程,要求:
1、每個學(xué)員自備一臺便攜機(jī)(必須)。
2、便攜機(jī)中事先安裝好Python 3.6版本及以上。
注:講師現(xiàn)場提供開源的安裝程序、擴(kuò)展庫,以及現(xiàn)場分析的數(shù)據(jù)源。
【授課方式】
語言基礎(chǔ) + 挖掘模型 + 案例演練 + 開發(fā)實(shí)踐 + 可視化呈現(xiàn)
采用互動式教學(xué),圍繞業(yè)務(wù)問題,展開數(shù)據(jù)分析過程,全過程演練操作,讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。
【課程大綱】
第一部分:Python語言基礎(chǔ)
目的:掌握基本的Python編程思想與編程語句,熟悉常用數(shù)據(jù)結(jié)構(gòu)的操作
1、Python簡介
2、開發(fā)環(huán)境搭建
.Python的安裝
.擴(kuò)展庫的安裝
3、掌握Python的簡單數(shù)據(jù)類型
. 字符串的使用及操作
.整數(shù)、浮點(diǎn)數(shù)
4、掌握基本語句:
.if、while、for、print等
.基本運(yùn)算:
.函數(shù)定義、參數(shù)傳遞、返回值
5、掌握復(fù)雜的數(shù)據(jù)類型:列表/元組
.列表操作:訪問、添加、修改、刪除、排序
.列表切片、復(fù)制等
.列表相關(guān)的函數(shù)、方法
.元組的應(yīng)用
6、復(fù)雜數(shù)據(jù)類型:字典
.創(chuàng)建、訪問、修改、刪除、遍歷
.字典函數(shù)和方法
7、復(fù)雜數(shù)據(jù)類型:集合
8、掌握面向?qū)ο缶幊趟枷?br />
.創(chuàng)建類、繼承類
.模塊
9、函數(shù)定義、參數(shù)傳遞、返回值
10、標(biāo)準(zhǔn)庫與擴(kuò)展庫的導(dǎo)入
11、異常處理:try-except塊
演練:基本的Python編程語句
第二部分:Python擴(kuò)展庫
目的:掌握數(shù)據(jù)集結(jié)構(gòu)及基本處理方法,進(jìn)一步鞏固Python語言
1、數(shù)據(jù)挖掘常用擴(kuò)展庫介紹
.Numpy數(shù)組處理支持
.Scipy矩陣計算模塊
.Matplotlib數(shù)據(jù)可視化工具庫
.Pandas數(shù)據(jù)分析和探索工具
.StatsModels統(tǒng)計建模庫
.Scikit-Learn機(jī)器學(xué)習(xí)庫
.Keras深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))庫
.Gensim文本挖掘庫
2、數(shù)據(jù)集讀取與操作:讀取、寫入
.讀寫文本文件
.讀寫CSV文件
.讀寫Excel文件
.從數(shù)據(jù)庫獲取數(shù)據(jù)集
3、數(shù)據(jù)集的核心數(shù)據(jù)結(jié)構(gòu)(Pandas數(shù)據(jù)結(jié)構(gòu))
.Dataframe對象及處理方法
.Series對象及處理方法
演練:用Python實(shí)現(xiàn)數(shù)據(jù)的基本統(tǒng)計分析功能
第三部分:數(shù)據(jù)可視化處理
目的:掌握作圖擴(kuò)展庫,實(shí)現(xiàn)數(shù)據(jù)可視化
1、常用的Python作圖庫
.Matplotlib庫
.Pygal庫
2、實(shí)現(xiàn)分類匯總
演練:按性別統(tǒng)計用戶人數(shù)
演練:按產(chǎn)品+日期統(tǒng)計各產(chǎn)品銷售金額
3、各種圖形的畫法
.直方圖
.餅圖
.折線圖
.散點(diǎn)圖
4、繪圖的美化技巧
演練:用Python庫作圖來實(shí)現(xiàn)產(chǎn)品銷量分析,并可視化
第四部分:數(shù)據(jù)理解和數(shù)據(jù)準(zhǔn)備
目的:掌握數(shù)據(jù)預(yù)處理的基本環(huán)節(jié),以及Python的實(shí)現(xiàn)
1、數(shù)據(jù)預(yù)處理
.異常值處理:3σ準(zhǔn)則,IQR準(zhǔn)則
.缺失值插補(bǔ):均值、拉格朗日插補(bǔ)
.數(shù)據(jù)篩選/抽樣
.數(shù)據(jù)的離散化處理
.變量變換、變量派生
2、數(shù)據(jù)的基本分析
.相關(guān)分析:原理、公式、應(yīng)用
.方差分析:原理、公式、應(yīng)用
.卡方分析:原理、公式、應(yīng)用
.主成分分析:降維
案例:用Python實(shí)現(xiàn)數(shù)據(jù)預(yù)處理及數(shù)據(jù)準(zhǔn)備
第五部分:分類預(yù)測模型實(shí)戰(zhàn)
1、常見分類預(yù)測的模型與算法
2、如何評估分類預(yù)測模型的質(zhì)量
.查準(zhǔn)率
.查全率
.ROC曲線
3、邏輯回歸分析模型
.邏輯回歸的原理
.邏輯回歸建模的步驟
.邏輯回歸結(jié)果解讀
案例:用sklearn庫實(shí)現(xiàn)銀行貸款違約預(yù)測
4、決策樹模型
.決策樹分類的原理
.決策樹的三個關(guān)鍵問題
.決策樹算法與實(shí)現(xiàn)
案例:電力竊漏用戶自動識別
5、決策樹算法
.最優(yōu)屬性選擇算法:ID3、ID4.0、ID5.0
.連續(xù)變量分割算法
.樹剪枝:預(yù)剪枝、后剪枝
6、人工神經(jīng)網(wǎng)絡(luò)模型(ANN)
.神經(jīng)網(wǎng)絡(luò)概述
.神經(jīng)元工作原理
.常見神經(jīng)網(wǎng)絡(luò)算法(BP、LM、RBF、FNN等)
案例:神經(jīng)網(wǎng)絡(luò)預(yù)測產(chǎn)品銷量
7、支持向量機(jī)(SVM)
.SVM基本原理
.維災(zāi)難與核心函數(shù)
案例:基于水質(zhì)圖像的水質(zhì)評價
8、貝葉斯分析
.條件概率
.常見貝葉斯網(wǎng)絡(luò)
第六部分:數(shù)值預(yù)測模型實(shí)戰(zhàn)
1、常用數(shù)值預(yù)測的模型
.通用預(yù)測模型:回歸模型
.季節(jié)性預(yù)測模型:相加、相乘模型
.新產(chǎn)品預(yù)測模型:珀?duì)柷€與龔鉑茲曲線
2、回歸分析概念
3、常見回歸分析類別
4、回歸分析常見算法
.梯度上升/下降法
.普通最小二乘法OLS
.局部加權(quán)線性回歸LWLR
.嶺回歸(RR)
.套索回歸Lasso
.ElasticNet回歸
第七部分:聚類分析(客戶細(xì)分)實(shí)戰(zhàn)
1、客戶細(xì)分常用方法
2、聚類分析(Clustering)
.聚類方法原理介紹及適用場景
.常用聚類分析算法
.聚類算法的評價
案例:使用SKLearn實(shí)現(xiàn)K均值聚類
案例:使用TSNE實(shí)現(xiàn)聚類可視化
3、RFM模型分析
.RFM模型,更深入了解你的客戶價值
.RFM模型與市場策略
案例:航空公司客戶價值分析
第八部分:關(guān)聯(lián)規(guī)則分析實(shí)戰(zhàn)
1、關(guān)聯(lián)規(guī)則概述
2、常用關(guān)聯(lián)規(guī)則算法
.Apriori算法
.發(fā)現(xiàn)頻繁集
.生成關(guān)聯(lián)規(guī)則
.FP-Growth算法
.構(gòu)建FP樹
.提取規(guī)則
3、時間序列分析
案例:使用apriori庫實(shí)現(xiàn)關(guān)聯(lián)分析
案例:中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
第九部分:案例實(shí)戰(zhàn)(學(xué)員主導(dǎo),老師現(xiàn)場指導(dǎo))
1、電商用戶行為分析及服務(wù)推薦
2、基于基站定位數(shù)據(jù)的商圈分析
結(jié)束:課程總結(jié)與問題答疑。
Python實(shí)現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)
轉(zhuǎn)載:http://www.nywlwx.com/gkk_detail/237141.html
已開課時間Have start time
- 傅一航
大數(shù)據(jù)課程內(nèi)訓(xùn)
- 管理者數(shù)據(jù)能力晉級 宋致旸
- 企業(yè)區(qū)塊鏈技術(shù)的應(yīng)用場景與 李璐
- 《企業(yè)數(shù)據(jù)管理與數(shù)據(jù)資產(chǎn)化 張光利
- 數(shù)字金融與智能金融下的智慧 盧森煌
- 大數(shù)據(jù)時代下服務(wù)營銷新思維 秦超
- 數(shù)字經(jīng)濟(jì)基礎(chǔ)和企業(yè)數(shù)字化轉(zhuǎn) 盧森煌
- 《零售行業(yè)社群團(tuán)購運(yùn)營》 陳蕊
- 《小紅書運(yùn)營策劃與執(zhí)行》 黃光偉
- 數(shù)字化轉(zhuǎn)型與新質(zhì)生產(chǎn)力 盧森煌
- 數(shù)字媒體和數(shù)字教學(xué) 鐘理勇
- 商業(yè)銀行數(shù)據(jù)治理體系建設(shè)實(shí) 馬慶
- 大數(shù)據(jù)行業(yè)的現(xiàn)狀與熱點(diǎn) 徐全