内容摘要: 在该资源文件夹当中包括了数据预处理和特征工程后的数据(数据来源于第五届泰迪杯技能赛,数据经过作者预处理和特征工程),以及一步导出随机森林训练结果的模型评估函数,模型的特征重要性图像、模型评估的混淆矩阵。同时资源中还有数据不平衡得处理操作,实现方式为下采样。在资源当中还实现了,利用遗传算法(GA)对随机森林进行n_estimators、max_depth、min_samples_split、min_samples_leaf、max_features的参数优化。 资源结构: -BinaryClassification(GA) --data:数据 --image:导出图片 --model:模型参数 --Binary_RF(GA).py:遗传算法优化 --BinaryRF.py:常规随机森林分类 适合人群: 该资源适合用来竞赛和写论文,可以快速导出结果,大大节省时间。 使用建议: 二分类数据预处理和特征工程处理好后,导入数据分配好特征和标签,然后运行就可以导出模型的训练权重和模型的特征重要性图像、模型评估的混淆矩阵图像。遗传算法调参属于进阶内容,不懂得可以私信作者。
1
数据挖掘:数据清洗——数据不平衡处理 一、什么是数据不平衡? 不平衡数据集指的是数据集各个类别的样本数目相差巨大,也叫数据倾斜。以二分类问题为例,即正类的样本数量远大于负类的样本数量。严格地讲,任何数据集上都有数据不平衡现象,一点的差异不会引起太多的影响,我们只关注那些分布差别比较悬殊的。 关于分布悬殊:如果类别不平衡比例超过4:1,那么其分类器会大大地因为数据不平衡性而无法满足分类要求的。因此在构建分类模型之前,需要对分类不均衡性问题进行处理。 不平衡数据的学习即需要在分布不均匀的数据集中学习到有用的信息。 二、不平衡数据例子 ① 在二分类问题中,训练集中class 1的样本数比上clas
2021-10-19 21:06:07 577KB test 交叉验证 分类器
1