摘要:ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好,得到的模型就越好。调优超参数可能是非常乏味和困难的,更像是一门艺术而不是科学。 超参数 超参数是在建立模型时用于控制算法行为的参数。这些参数不能从常规训练过程中获得。在对模型进行训练之前,需要对它 阅读全文
posted @ 2020-09-23 18:53 小小喽啰 阅读(4) 评论(0) 推荐(0) 编辑
摘要:一、np.unique() 查找数组的唯一元素。 返回数组的排序后的唯一元素。除独特元素外,还有三个可选输出: 输入数组的索引,这些索引给出唯一值 重建输入数组的唯一数组的索引 输入数组中每个唯一值出现的次数 numpy.unique(ar,return_index = False,return_i 阅读全文
posted @ 2020-09-23 15:58 小小喽啰 阅读(4) 评论(0) 推荐(0) 编辑
摘要:pd.select_dtypes 可以根据数据类型选取特征,这对于我们建模时非常有用,下面来看看怎么使用 DataFrame.select_dtypes(include=None, exclude=None) 参数 include, exclude:scalar or list-like,标量或类似 阅读全文
posted @ 2020-09-23 15:18 小小喽啰 阅读(4) 评论(0) 推荐(0) 编辑
摘要:pd.to_timedelta 将参数转换为timedelta,Timedelta在pandas中是一个表示两个datetime值之间的差(如日,秒和微妙)的类型,2个Datetime数据运算相减得出的结果就是一个Timedelta数据类型 pandas.to_timedelta(arg, unit 阅读全文
posted @ 2020-09-22 18:58 小小喽啰 阅读(7) 评论(0) 推荐(0) 编辑
摘要:sklearn.preprocessing.PolynomialFeatures 生成多项式和交互特征。生成由度小于或等于指定度的特征的所有多项式组合组成的新特征矩阵。例如,如果输入样本是二维且格式为[a,b],则2阶多项式特征为[1,a,b,a ^ 2,ab,b ^ 2] class sklear 阅读全文
posted @ 2020-09-22 18:28 小小喽啰 阅读(5) 评论(0) 推荐(0) 编辑
摘要:np.percentile numpy.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation='linear', keepdims=False) 参数: a : array,用来算分位数的对象,可以是多维 阅读全文
posted @ 2020-09-22 16:50 小小喽啰 阅读(4) 评论(0) 推荐(0) 编辑
摘要:本文目录 1.数据预处理 2.特征构建 3.特征选择 4.LightGBM模型构建 5.自动调参方法 一.数据预处理 1.1 离群点处理 Tukey Method: 一种利用数据四分位差的检测方法。通过计算特征的 IQR 四分位差,得到 outlier_step=1.5*IQR,如果值大于(上四分位 阅读全文
posted @ 2020-09-22 15:52 小小喽啰 阅读(4) 评论(0) 推荐(0) 编辑
摘要:np.where() numpy.where(condition[, x, y]) 参数: condition:array_like, bool,如果为True,则产生x,否则产生y x, y:array_like,从中选择的值 numpy.where() 有两种用法: 1. np.where(co 阅读全文
posted @ 2020-09-22 14:56 小小喽啰 阅读(3) 评论(0) 推荐(0) 编辑
摘要:np.triu_indices_from() 返回方阵的上三角矩阵的索引 numpy.triu_indices_from(arr,k = 0 ) 参数: arr :ndarray,shape(N,N) k: int,可选,对角线偏移 例子: import numpy as np a = np.arr 阅读全文
posted @ 2020-09-22 14:17 小小喽啰 阅读(14) 评论(0) 推荐(0) 编辑
摘要:区别 plt.XX之类的是函数式绘图,通过将数据参数传入plt类的静态方法中并调用方法,从而绘图。fig,ax=plt.subplots()是对象式编程,这里plt.subplots()是返回一个元组,包含了figure对象(控制总体图形大小)和axes对象(控制绘图,坐标之类的)。进行对象式绘图, 阅读全文
posted @ 2020-09-22 10:55 小小喽啰 阅读(11) 评论(0) 推荐(0) 编辑