摘要： 主要是通过树模型衍生变量。然后和逻辑回归模型融合在一起；树模型LGM衍生模型，主要是使用LGM模型对原始数据进行训练，把每个样本落在的叶节点的位置记为1，这个有N个树就有N个位置，然后每个样本就得到一个1xN(N是树的棵树)的向量，然后通过PSI，特征重要性去刷选变量，最后将刷选后的变量放入逻辑回归 阅读全文

摘要： 本章节主要说的迁移学习的事情，迁移学习简单来说：举个例子，新产品上线，建模使用其他产品和少量新产品的数据建模，不码字，具体百度吧。 全部代码： # -*- coding: utf-8 -*- """ Created on Tue Dec 24 15:25:58 2019 @author: zixin 阅读全文

摘要： 本次章节的2个疑点： 1.决策树是不需要处理缺失值得，梅老师也乜有处理缺失值，tree.DecisionTreeRegressor在梅老师那里是运行成功的，但是我的报错ValueError: Input contains NaN, infinity or a value too large for 阅读全文

摘要： 主要修改点有2处： 1.xgboost的参数，有些参数现版本的xgboost是没有的，需要注释掉或者使用现在的替换 2.xgboost版评分映射的问题，由于预测的是逾期的概率，因此我们需要使用基础分-后面的，而不是+ #%% import pandas as pd from sklearn.metr 阅读全文

摘要： 20221118补充 关于分类问题的base，回归是均值，分类是：base_values + sum(shap_values[0].values) = ln(p/1-p) 下面直接看代码： # -*- coding: utf-8 -*- """ Created on Fri Nov 18 10:07 阅读全文

摘要： 基于模型刷选特征方法有：排列重要性、shap value、null importance 这里简单介绍一下排列重要性： 一、排列重要性原理 首先建立一个模型，计算某列特征重要性时，打乱该列顺序，其余列不变，然后再使用打乱后的数据来预测，最后计算正确率；如果某列对模型预测很重要，那么打乱该列顺序之后， 阅读全文

摘要： 一个文件中有多个格式相同的sheet，我们想要批量合并这些sheet，然后将处理好的文件放到一个新的文件中去： # -*- coding: utf-8 -*- """ Created on Wed Sep 22 11:18:51 2021 @author: xxx """ import xlrd i 阅读全文

摘要： 工作中会遇到将不同的DataFrame 写到同一个Excel的不同sheet中的需求，可以使用pd.ExcelWriter： writer = pd.ExcelWriter('某个Excel.xlsx') df1.to_excel(writer,"第一个sheet") df2.to_excel(wr 阅读全文

摘要： 工作中会遇到这样的需求，有多个Excel的格式一样，都有多个sheet，且每个sheet的名字和格式一样，我们需要按照sheet 合并，就是说合并后的表的格式和合并钱的格式是一样的。A、B、C表格式如图 现在需要合并成下图： 我这次处理是保留第一个表的首行，其余的表的首行都不保留。因此结果会和上面有 阅读全文

摘要： 工作中会涉及到以省份为维度去统计一些数据，这就需要画一下地图，百度一下，看到这个文章写得比较简单易懂，故记录一下。 文章链接：https://zhuanlan.zhihu.com/p/45202403 我只需要画中国地图，因此只记录下面这两种方法： 1.pyecharts在v1.x之后支持链式调用 阅读全文