本文共 5440 字,大约阅读时间需要 18 分钟。
目录
1、认识决策树
2、信息论基础 - 银行贷款分析
3、决策树的生成
4、泰坦尼克号乘客生存分类
问题:猜谁是冠军? 假设有32支球队
最多可以5次猜中(二分法。第一次:把32分成两半,猜其中一方。后面一次分两半猜)
32支球队,log32=5比特
每个球队获胜的概率为1/32
5= -(1/32log1/32 + 1/32log1/32 + ......+ 1/32log1/32)(第32个)
那么猜中的次数应该比5小,就理解为代价减少了,我们称信息熵减小了。
5 > -(1/4log1/4 + 1/8log1/8 + ......+ 1/32log1/32)
信息和消除不确定性是相联系的。信息熵越大,说明不确定性越大。
当得知一个特征条件之后,减少的信息熵的大小。
举例:
知道了哪个特征带来的信息增益最大,那么就能决定决策树的实际划分。
基尼系数的划分更加仔细,所以sklearn默认用基尼系数
1、首先下载安装包graphviz-2.38.msi,下载地址为https://graphviz.gitlab.io/_pages/Download/Download_windows.html
2、双击msi文件,然后一直选择next(默认安装路径为C:\Program Files (x86)\Graphviz2.38\),安装完成之后,会在windows开始菜单创建快捷信息。 3、配置环境变量:计算机→属性→高级系统设置→高级→环境变量→系统变量→path,在path中加入路径:C:\Program Files (x86)\Graphviz2.38\bin 4、验证:在windows命令行界面,输入dot -version,然后按回车。基本绘图入门
打开windows下的graphviz编辑器gvedit,编写如下的dot脚本语言,保存成gv格式文本文件。然后进入命令行界面,使用dot命令,将gv文件转化为png图形文件。
dot D:\test\1.gv -Tpng -o image.png
数据:http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt
1、pd读取数据
2、选择有影响的特征,处理缺失值
3、进行特征工程,pd转换字典,特征抽取 x_train.to_dict(orient='records')
4、决策树估计器流程
from sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn.datasets import load_iris, fetch_20newsgroupsfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_reportfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.tree import DecisionTreeClassifier, export_graphvizimport pandas as pddef decision(): """ 决策树对泰坦尼克号进行预测生死 :return: None """ # TODO 获取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # TODO 处理数据,找出特征值和目标值 x = titan[['pclass', 'age', 'sex']] y = titan['survived'] # TODO 缺失值处理 x['age'].fillna(x['age'].mean(), inplace=True) # TODO 分割数据集:训练集和测试集 (一般先分割数据,再转换数据) x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # print(x_train.to_dict(orient='records')) # 进行处理(特征工程) 当特征的值是类别型的信息时,用one-hot编码 dict = DictVectorizer(sparse=False) # 对象默认是sparse矩阵 x_train = dict.fit_transform(x_train.to_dict(orient='records')) # .to_dict(orient='records') 把一行转换成一个字典 print(dict.get_feature_names()) print(x_train) x_test = dict.transform(x_test.to_dict(orient='records')) # TODO 用决策树进行预测 dec = DecisionTreeClassifier(max_depth=8) dec.fit(x_train, y_train) # TODO 预测准确率 print("预测的准确率:", dec.score(x_test, y_test)) # TODO 导出决策树的结构 # dict.get_feature_names() ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'] # 可以用自定义的名字 export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性']) return Noneif __name__ == '__main__': decision()
1、什么是随机森林
2、随机森林的过程、优势
3、泰坦尼克号乘客生存分类分析
集成学习方法
集成学习方法通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和做出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。
什么是随机森林
定义:在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
from sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn.datasets import load_iris, fetch_20newsgroupsfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_reportfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.tree import DecisionTreeClassifier, export_graphvizfrom sklearn.ensemble import RandomForestClassifierimport pandas as pddef decision(): """ 决策树对泰坦尼克号进行预测生死 :return: None """ # TODO 获取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # TODO 处理数据,找出特征值和目标值 x = titan[['pclass', 'age', 'sex']] y = titan['survived'] # TODO 缺失值处理 x['age'].fillna(x['age'].mean(), inplace=True) # TODO 分割数据集:训练集和测试集 (一般先分割数据,再转换数据) x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # print(x_train.to_dict(orient='records')) # 进行处理(特征工程) 当特征的值是类别型的信息时,用one-hot编码 dict = DictVectorizer(sparse=False) # 对象默认是sparse矩阵 x_train = dict.fit_transform(x_train.to_dict(orient='records')) # .to_dict(orient='records') 把一行转换成一个字典 print(dict.get_feature_names()) print(x_train) x_test = dict.transform(x_test.to_dict(orient='records')) """ # TODO 用决策树进行预测 dec = DecisionTreeClassifier(max_depth=8) dec.fit(x_train, y_train) # TODO 预测准确率 print("预测的准确率:", dec.score(x_test, y_test)) # TODO 导出决策树的结构 # dict.get_feature_names() ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'] # 可以用自定义的名字 export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性']) """ # TODO 随机森林进行预测(超参数调优) rf = RandomForestClassifier() param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]} # 网格搜索与交叉验证 gc = GridSearchCV(rf, param_grid=param, cv=2) gc.fit(x_train, y_train) print("准确率:", gc.score(x_test, y_test)) print("查看选择的参数模型:", gc.best_params_) return Noneif __name__ == '__main__': decision()
转载地址:http://bdrgn.baihongyu.com/