分類，就是確定某個對象屬于哪個預(yù)定義的目標(biāo)類的過程。
在機(jī)器學(xué)習(xí)中，分類法有很多種，比如決策樹分類法、基于規(guī)則的分類法、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和樸素貝葉斯分類法，等等。
而決策樹是最常見的一種簡單卻廣泛使用的分類技術(shù)。
決策樹，是一種樹形結(jié)構(gòu)，其中每個節(jié)點表示一個屬性，每個分支代表屬性的取值，每個葉節(jié)點代表一種類別。
第一步：選擇一個屬性，構(gòu)造根節(jié)點
比如選擇“月收入”構(gòu)造根節(jié)點，其中“月收入”有三個取舍{低、中、高}，因此根節(jié)點有三個分支，這樣，形成3個子結(jié)點（也就是有3個子類別）。
如下圖所示，根節(jié)點中的數(shù)據(jù)表示，總共有14個人，其中違約用戶5個，按照“月收入”進(jìn)行分類，可以分成3個子類別，其中“收入低”的類別共有5個人，其中違約用戶3個；“收入中”的用戶共有4人，沒有人違約。
第二步：對于不純的子節(jié)點，選擇一個屬性繼續(xù)生長
對于“收入中”子節(jié)點，只有一種用戶（非違約用戶），因此子節(jié)點是純的節(jié)點，不需要繼續(xù)生長了。
對于“收入低”子節(jié)點，違約用戶和非違約用戶都有，屬于不純節(jié)點，因此還需要繼續(xù)生長。
在“收入低”子節(jié)點中，選擇一個屬性“性別 ”繼續(xù)生長，性別有2個取值{男、女}，因此子結(jié)點可以分解為2個子節(jié)點。“收入低、男性”子節(jié)點中共有3個人，全部是違約用戶；“收入低、女性”子節(jié)點共有2個人，全部都不是違約用戶。
類似地，對于“收入高“的子節(jié)點，選擇“行業(yè)”屬性進(jìn)行生長，也得到2個子節(jié)點。
決策樹：構(gòu)造決策樹，實現(xiàn)分類預(yù)測
第三步：停止決策樹的生長
如上圖所示，當(dāng)所有的子結(jié)點都滿足了停止生長的條件（比如所有子結(jié)點都是純的），決策樹就算完成了。
此時，所有的葉結(jié)點就是決策樹的分類類別。
第四步：評估分類質(zhì)量
決策樹構(gòu)造好之后，需要評估模型的好壞（質(zhì)量）。
一般采用查準(zhǔn)率和查全率來衡量模型的好壞，如上例所示。
查準(zhǔn)率：總共有14個人，模型分類正確的有14個人，即查準(zhǔn)率為100%。
查全率：總共有5個人違約，模型查出來的也是5個人，即查全率為100%。
查準(zhǔn)率和查全率都比較高，說明模型比較好，可用。
第五步：提取“違約用戶”的特征
我們將有違約用戶的葉結(jié)點用背景色標(biāo)識出來，可以發(fā)現(xiàn)那些違約用戶的特征：
1） 月收入低，且性別為男；
2） 月收入高，且在皮具行業(yè)工作。
第六步：預(yù)測新用戶預(yù)測
當(dāng)決策樹模型構(gòu)造好以后，就可以用來進(jìn)行預(yù)測。
當(dāng)一個新的申請貨款的用戶來貨款時，可以根據(jù)決策樹模型，來評估用戶最有可能屬于哪一個節(jié)點，如果新用戶所屬葉節(jié)點的違約風(fēng)險極高，則應(yīng)該拒絕給新用戶貨款；否則可以進(jìn)行放貨。
決策樹的構(gòu)造，理解起來是很簡單的。而且，容易生成或提取可識別的類別特征。
當(dāng)然，其背后的實現(xiàn)算法還有很多需要思考的，比如應(yīng)該選擇哪個屬性來進(jìn)行生長？屬性的分支取值如何確定？決策樹生長的停止條件如何確定？這些內(nèi)容對于開發(fā)者和算法設(shè)計者很重要，請關(guān)注我后續(xù)的文章。
轉(zhuǎn)載：http://www.nywlwx.com/zixun_detail/111850.html
