| | | |

2018年3月25日

摘要：特征选择的主要作用是：降维，减少特征数量，防止过拟合，增强模型的泛化能力。 1、变异系数（标准差/均值） 2、皮尔逊相关系数（线性相关） 3、互信息 4、线性拟合系数 5、L1（Lasso）或者L2（Ridge）正则化 6、树模型 7、交叉验证 8、卡方检验阅读全文

posted @ 2018-03-25 22:16 kayy 阅读(186) 评论(0) 推荐(0)

pandas dataframe to rdd

摘要： import pandas as pd from pyspark.sql import SQLContext from pyspark import SparkContext from pyspark.sql import SparkSession sc = SparkContext()#连接spa 阅读全文

posted @ 2018-03-25 09:33 kayy 阅读(477) 评论(0) 推荐(0)