大數(shù)據(jù)建模應(yīng)用實戰(zhàn)
講師:傅一航 瀏覽次數(shù):2542
課程描述INTRODUCTION
大數(shù)據(jù)建模應(yīng)用實戰(zhàn)
· 市場經(jīng)理· 營銷總監(jiān)· 高層管理者
培訓(xùn)講師:傅一航
課程價格:¥元/人
培訓(xùn)天數(shù):3天
日程安排SCHEDULE
課程大綱Syllabus
大數(shù)據(jù)建模應(yīng)用實戰(zhàn)
【課程目標(biāo)】
本課程專注于大數(shù)據(jù)建模課程,面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與建模的人士。主要內(nèi)容包括數(shù)據(jù)建模的過程和步驟,以及建模涉及到的分析方法、分析模型,以及模型優(yōu)化等。
本課程從實際的業(yè)務(wù)需求出發(fā),對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹,通過大量的操作演練,幫助學(xué)員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、工具,從大量的企業(yè)經(jīng)營數(shù)據(jù)中進(jìn)行分析,發(fā)現(xiàn)業(yè)務(wù)運作規(guī)律,進(jìn)行客戶洞察,挖掘客戶行為特點,消費行為,實現(xiàn)精準(zhǔn)營銷,幫助運營團(tuán)隊深入理解業(yè)務(wù)運作,以達(dá)到提升學(xué)員的數(shù)據(jù)綜合分析能力,支撐運營決策的目的。
通過本課程的學(xué)習(xí),達(dá)到如下目的:
1、 掌握數(shù)據(jù)建模的基本過程和步驟。
2、 掌握數(shù)據(jù)建模前的屬性篩選的系統(tǒng)方法,為建模打下基礎(chǔ)。
3、 掌握常用的數(shù)值預(yù)測模型,包括回歸預(yù)測和時序預(yù)測,以及其適用場景。
4、 掌握常用的分類預(yù)測模型,包括邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、判別分析等等,以及分類模型的優(yōu)化。
5、 掌握數(shù)據(jù)挖掘常用的專題模型。
【授課對象】
業(yè)務(wù)支撐、網(wǎng)絡(luò)中心、IT系統(tǒng)部、數(shù)據(jù)分析部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)專業(yè)人員。
【課程大綱】
第一部分: 數(shù)據(jù)建模基本過程
1、 預(yù)測建模六步法
-選擇模型:基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
-屬性篩選:選擇對目標(biāo)變量有顯著影響的屬性來建模
-訓(xùn)練模型:采用合適的算法對模型進(jìn)行訓(xùn)練,尋找到最合適的模型參數(shù)
-評估模型:進(jìn)行評估模型的質(zhì)量,判斷模型是否可用
-優(yōu)化模型:如果評估結(jié)果不理想,則需要對模型進(jìn)行優(yōu)化
-應(yīng)用模型:如果評估結(jié)果滿足要求,則可應(yīng)用模型于業(yè)務(wù)場景
2、 數(shù)據(jù)挖掘常用的模型
-數(shù)值預(yù)測模型:回歸預(yù)測、時序預(yù)測等
-分類預(yù)測模型:邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
-市場細(xì)分:聚類、RFM、PCA等
-產(chǎn)品推薦:關(guān)聯(lián)分析、協(xié)同過濾等
-產(chǎn)品優(yōu)化:回歸、隨機(jī)效用等
-產(chǎn)品定價:定價策略/最優(yōu)定價等
3、 屬性篩選/特征選擇/變量降維
-基于變量本身特征
-基于相關(guān)性判斷
-因子合并(PCA等)
-IV值篩選(評分卡使用)
-基于信息增益判斷(決策樹使用)
4、 模型評估
-模型質(zhì)量評估指標(biāo):R^2、正確率/查全率/查準(zhǔn)率/特異性等
-預(yù)測值評估指標(biāo):MAD、MSE/RMSE、MAPE、概率等
-模型評估方法:留出法、K拆交叉驗證、自助法等
-其它評估:過擬合評估
5、 模型優(yōu)化
-優(yōu)化模型:選擇新模型/修改模型
-優(yōu)化數(shù)據(jù):新增顯著自變量
-優(yōu)化公式:采用新的計算公式
6、 模型實現(xiàn)算法(暫略)
7、 好模型是優(yōu)化出來的
案例:通信客戶流失分析及預(yù)警模型
第二部分: 屬性篩選方法
問題:如何選擇合適的屬性來進(jìn)行建模預(yù)測?
比如:價格是否可用于產(chǎn)品銷量的預(yù)測?套餐的合理性是否會影響客戶流失?在欺詐風(fēng)險中有哪些數(shù)據(jù)會有異常表現(xiàn)?
1、 屬性篩選/變量降維的常用方法
-基于變量本身特征來選擇屬性
-基于數(shù)據(jù)間的相關(guān)性來選擇屬性
-基于因子合并(如PCA分析)實現(xiàn)變量的合并
-利用IV值篩選
-基于信息增益來選擇屬性
2、 相關(guān)分析(衡量變量間的線性相關(guān)性)
問題:這兩個屬性是否會相互影響?影響程度大嗎?
-相關(guān)分析簡介
-相關(guān)分析的三個種類
-簡單相關(guān)分析
-偏相關(guān)分析
-距離相關(guān)分析
-相關(guān)系數(shù)的三種計算公式
-Pearson相關(guān)系數(shù)
-Spearman相關(guān)系數(shù)
-Kendall相關(guān)系數(shù)
-相關(guān)分析的假設(shè)檢驗
-相關(guān)分析的四個基本步驟
演練:體重與腰圍的關(guān)系
演練:營銷費用會影響銷售額嗎
演練:哪些因素與汽車銷量有相關(guān)性
演練:通信費用與開通月數(shù)的相關(guān)分析
-偏相關(guān)分析
-偏相關(guān)原理:排除不可控因素后的兩變量的相關(guān)性
-偏相關(guān)系數(shù)的計算公式
-偏相關(guān)分析的適用場景
-距離相關(guān)分析
3、 方差分析(衡量類別變量與數(shù)據(jù)變量的相關(guān)性)
問題:哪些才是影響銷量的關(guān)鍵因素?
-方差分析的應(yīng)用場景
-方差分析的三個種類
-單因素方差分析
-多因素方差分析
-協(xié)方差分析
-方差分析的原理
-方差分析的四個步驟
-解讀方差分析結(jié)果的兩個要點
演練:終端擺放位置與終端銷量有關(guān)嗎
演練:開通月數(shù)對客戶流失的影響分析
演練:客戶學(xué)歷對消費水平的影響分析
演練:廣告和價格是影響終端銷量的關(guān)鍵因素嗎
演練:營業(yè)員的性別、技能級別對產(chǎn)品銷量有影響嗎
演練:尋找影響產(chǎn)品銷量的關(guān)鍵因素
-多因素方差分析原理
-多因素方差分析的作用
-多因素方差結(jié)果的解讀
演練:廣告形式、地區(qū)對銷量的影響因素分析(多因素)
-協(xié)方差分析原理
-協(xié)方差分析的適用場景
演練:飼料對生豬體重的影響分析(協(xié)方差分析)
4、 列聯(lián)分析/卡方檢驗(兩類別變量的相關(guān)性分析)
-交叉表與列聯(lián)表
-卡方檢驗的原理
-卡方檢驗的幾個計算公式
-列聯(lián)表分析的適用場景
案例:套餐類型對客戶流失的影響分析
案例:學(xué)歷對業(yè)務(wù)套餐偏好的影響分析
案例:行業(yè)/規(guī)模對風(fēng)控的影響分析
5、 相關(guān)性分析各種方法的適用場景
6、 主成份分析(PCA)
-因子分析的原理
-因子個數(shù)如何選擇
-如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
第三部分: 回歸預(yù)測模型篇
問題:如何預(yù)測產(chǎn)品的銷量/銷售金額?如果產(chǎn)品跟隨季節(jié)性變動,該如何預(yù)測?新產(chǎn)品上市,如果評估銷量上限及銷售增速?
1、 常用的數(shù)值預(yù)測模型
-回歸預(yù)測
-時序預(yù)測
2、 回歸預(yù)測/回歸分析
問題:如何預(yù)測未來的銷售量(定量分析)?
-回歸分析的基本原理和應(yīng)用場景
-回歸分析的種類(一元/多元、線性/曲線)
-得到回歸方程的四種常用方法
-Excel函數(shù)
-散點圖+趨勢線
-線性回歸工具
-規(guī)范求解
-線性回歸分析的五個步驟
-回歸方程結(jié)果的解讀要點
-評估回歸模型質(zhì)量的常用指標(biāo)
-評估預(yù)測值的準(zhǔn)確度的常用指標(biāo)
演練:散點圖找推廣費用與銷售額的關(guān)系(一元線性回歸)
演練:推廣費用、辦公費用與銷售額的關(guān)系(多元線性回歸)
演練:讓你的營銷費用預(yù)算更準(zhǔn)確
演練:如何選擇*的回歸預(yù)測模型(曲線回歸)
-帶分類變量的回歸預(yù)測
演練:汽車季度銷量預(yù)測
演練:工齡、性別與終端銷量的關(guān)系
演練:如何評估銷售目標(biāo)與資源配置(營業(yè)廳)
3、 自動篩選不顯著自變量
第四部分: 回歸預(yù)測模型優(yōu)化篇
1、 回歸分析的基本原理
-三個基本概念:總變差、回歸變差、剩余變差
-方程的顯著性檢驗:是否可以做回歸分析?
-因素的顯著性檢驗:自變量是否可用?
-擬合優(yōu)度檢驗:回歸模型的質(zhì)量評估?
-理解標(biāo)準(zhǔn)誤差的含義:預(yù)測的準(zhǔn)確性?
2、 回歸模型優(yōu)化思路:尋找*回歸擬合線
-如何處理預(yù)測離群值(剔除離群值)
-如何剔除非顯著因素(剔除不顯著因素)
-如何進(jìn)行非線性關(guān)系檢驗(增加非線性自變量)
-如何進(jìn)行相互作用檢驗(增加相互作用自變量)
-如何進(jìn)行多重共線性檢驗(剔除共線性自變量)
-如何檢驗誤差項(修改因變量)
-如何判斷模型過擬合(模型過擬合判斷)
案例:模型優(yōu)化案例
3、 規(guī)劃求解工具簡介
4、 自定義回歸模型(如何利用規(guī)劃求解進(jìn)行自定義模型)
案例:如何對餐廳客流量進(jìn)行建模及模型優(yōu)化
5、 好模型都是優(yōu)化出來的
第五部分: 時序預(yù)測模型
問題:無法找到影響因素,無法回歸建模,怎么辦?隨著業(yè)務(wù)受季節(jié)性因素影響,未來的銷量如何預(yù)測?
1、 時序序列簡介
2、 時序分析的原理及應(yīng)用場景
3、 常見時序預(yù)測模型
1、 評估預(yù)測值的準(zhǔn)確度指標(biāo)
-平均*誤差MAD
-均方差MSE/RMSE
-平均誤差率MAPE
4、 移動平均
-應(yīng)用場景及原理
-移動平均種類
-一次移動平均
-二次移動平均
-加權(quán)移動平均
-移動平均比率法
-移動平均關(guān)鍵問題
-*期數(shù)N的選擇原則
-最優(yōu)權(quán)重系數(shù)的選取原則
演練:平板電腦銷量預(yù)測及評估
演練:快銷產(chǎn)品季節(jié)銷量預(yù)測及評估
5、 指數(shù)平滑
-應(yīng)用場景及原理
-最優(yōu)平滑系數(shù)的選取原則
-指數(shù)平滑種類
-一次指數(shù)平滑
-二次指數(shù)平滑(Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù))
-三次指數(shù)平滑
演練:煤炭產(chǎn)量預(yù)測
演練:航空旅客量預(yù)測及評估
6、 溫特期季節(jié)性預(yù)測模型
-適用場景及原理
-Holt-Winters加法模型
-Holt-Winters乘法模型
演練:汽車銷量預(yù)測及評估
7、 回歸季節(jié)預(yù)測模型
-季節(jié)性回歸模型的參數(shù)
-基于時期t的相加模型
-基于時期t的相乘模型
-怎樣解讀模型的含義
案例:*航空旅客里程的季節(jié)性趨勢分析
8、 新產(chǎn)品預(yù)測模型與S曲線
-新產(chǎn)品累計銷量的S曲線模型
-如何評估銷量增長的上限以及拐點
-珀爾曲線與龔鉑茲曲線
案例:如何預(yù)測產(chǎn)品的銷售增長拐點,以及銷量上限
演戲:預(yù)測IPad產(chǎn)品的銷量
第六部分: 分類預(yù)測模型
問題:如何評估客戶購買產(chǎn)品的可能性?或者說,影響客戶購買意向的產(chǎn)品關(guān)鍵特性是什么?
1、 分類預(yù)測模型概述
2、 常見分類預(yù)測模型
3、 評估分類模型的常用指標(biāo)
-正確率、查全率/查準(zhǔn)率、特異性等
4、 邏輯回歸分析模型(LR)
問題:如果評估用戶是否購買產(chǎn)品的概率?
-邏輯回歸模型原理及適用場景
-邏輯回歸的種類
-二項邏輯回歸
-多項邏輯回歸
-如何解讀邏輯回歸方程
-帶分類自變量的邏輯回歸分析
-多項邏輯回歸
案例:如何評估用戶是否會購買某產(chǎn)品(二項邏輯回歸)
案例:多品牌選擇模型分析(多項邏輯回歸)
5、 決策樹分類(DT)
問題:如何提取客戶流失者、拖欠貨款者的特征?如何預(yù)測其流失的概率?
-決策樹分類的原理
-決策樹的三個關(guān)鍵問題
-如何選擇*屬性來構(gòu)建節(jié)點
-如何分裂變量
-如何修剪決策樹
-選擇最優(yōu)屬性
-熵、基尼索引、分類錯誤
-屬性劃分增益
-如何分裂變量
-多元劃分與二元劃分
-連續(xù)變量離散化(最優(yōu)劃分點)
-修剪決策樹
-剪枝原則
-預(yù)剪枝與后剪枝
-構(gòu)建決策樹的四個算法
-C5.0、CHAID、CART、QUEST
-各種算法的比較
-如何選擇最優(yōu)分類模型?
案例:識別銀行欠貨風(fēng)險,提取欠貨者的特征
案例:客戶流失預(yù)警與客戶挽留模型
6、 人工神經(jīng)網(wǎng)絡(luò)(ANN)
-神經(jīng)網(wǎng)絡(luò)概述
-神經(jīng)網(wǎng)絡(luò)基本原理
-神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
-神經(jīng)網(wǎng)絡(luò)的建立步驟
-神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
-BP反向傳播網(wǎng)絡(luò)(MLP)
-徑向基網(wǎng)絡(luò)(RBF)
案例:評估銀行用戶拖欠貨款的概率
7、 判別分析(DA)
-判別分析原理
-距離判別法
-典型判別法
-貝葉斯判別法
案例:MBA學(xué)生錄取判別分析
案例:上市公司類別評估
8、 最近鄰分類(KNN)
-基本原理
-關(guān)鍵問題
9、 貝葉斯分類(NBN)
-貝葉斯分類原理
-計算類別屬性的條件概率
-估計連續(xù)屬性的條件概率
-貝葉斯網(wǎng)絡(luò)種類:TAN/馬爾科夫毯
-預(yù)測分類概率(計算概率)
案例:評估銀行用戶拖欠貨款的概率
第七部分: 分類模型優(yōu)化篇(集成方法)
1、 集成方法的基本原理:利用弱分類器構(gòu)建強分類模型
-選取多個數(shù)據(jù)集,構(gòu)建多個弱分類器
-多個弱分類器投票決定
2、 集成方法/元算法的種類
-Bagging算法
-Boosting算法
3、 Bagging原理
-如何選擇數(shù)據(jù)集
-如何進(jìn)行投票
-隨機(jī)森林
4、 Boosting的原理
-AdaBoost算法流程
-樣本選擇權(quán)重計算公式
-分類器投票權(quán)重計算公式
第八部分: 銀行信用評分卡模型
1、 信用評分卡模型簡介
2、 評分卡的關(guān)鍵問題
3、 信用評分卡建立過程
-篩選重要屬性
-數(shù)據(jù)集轉(zhuǎn)化
-建立分類模型
-計算屬性分值
-確定審批閾值
4、 篩選重要屬性
-屬性分段
-基本概念:WOE、IV
-屬性重要性評估
5、 數(shù)據(jù)集轉(zhuǎn)化
-連續(xù)屬性最優(yōu)分段
-計算屬性取值的WOE
6、 建立分類模型
-訓(xùn)練邏輯回歸模型
-評估模型
-得到字段系數(shù)
7、 計算屬性分值
-計算補償與刻度值
-計算各字段得分
-生成評分卡
8、 確定審批閾值
-畫K-S曲線
-計算K-S值
-獲取最優(yōu)閾值
結(jié)束:課程總結(jié)與問題答疑。
大數(shù)據(jù)建模應(yīng)用實戰(zhàn)
轉(zhuǎn)載:http://www.nywlwx.com/gkk_detail/256390.html
已開課時間Have start time
- 傅一航
[僅限會員]
大數(shù)據(jù)營銷內(nèi)訓(xùn)
- 數(shù)字化轉(zhuǎn)型與新質(zhì)生產(chǎn)力 盧森煌
- 企業(yè)區(qū)塊鏈技術(shù)的應(yīng)用場景與 李璐
- 大數(shù)據(jù)時代下服務(wù)營銷新思維 秦超
- 《零售行業(yè)社群團(tuán)購運營》 陳蕊
- 數(shù)字金融與智能金融下的智慧 盧森煌
- 《小紅書運營策劃與執(zhí)行》 黃光偉
- 《企業(yè)數(shù)據(jù)管理與數(shù)據(jù)資產(chǎn)化 張光利
- 商業(yè)銀行數(shù)據(jù)治理體系建設(shè)實 馬慶
- 數(shù)字經(jīng)濟(jì)基礎(chǔ)和企業(yè)數(shù)字化轉(zhuǎn) 盧森煌
- 數(shù)字媒體和數(shù)字教學(xué) 鐘理勇
- 大數(shù)據(jù)行業(yè)的現(xiàn)狀與熱點 徐全
- 管理者數(shù)據(jù)能力晉級 宋致旸