摘要： # -*- coding: utf-8 -*- """ Created on Sat Oct 10 15:21:10 2020 分析SMAPE这个指标，特别是对中位数预测的结果评估上 https://www.kaggle.com/cpmpml/smape-weirdness @author: sir 阅读全文

摘要： 比赛中原始的指标并不能直接作为模型训练中的loss function ,需要我们去进行转换，或者用相近的替代。原始指标：评估指标为 root mean squared logarithmic error (RMSLE) 参考：https://mp.weixin.qq.com/s?__biz=MzU1 阅读全文

摘要： 1.1 对传统时序中的方法进行深入理解 ①、通过画出随时间变化的销量，来看数据是否有趋势、季节、周期等特性 ②、再对其进行分解（加法、乘法都需要试一下）。 ③、对其进行平稳性分析，主要有观察法（均值、方差是否随时间变化而变化）和单位根检验法（P值是否小于5%，小于5%才能认为是平 稳，不然需要对其进 阅读全文

摘要： 1.union 特点： ①、新的RDD，会将旧的两个RDD的partition原封不动的给挪过来。 ② 、新的RDD的partition数量，是旧的partition数量之和。 2.groupByKey ①、一般来说，在执行groupByKey、reduceByKey、join等shuffle算子时 阅读全文

摘要： 1 spark内核架构 过程如下： 首先： ①、用户通过spark-submit提交自己编写的程序（jar、py）。 ②、一般认为上述的提交方式为Standlone，其会通过反射的方式，创建和构造一个DriverActor进程出来。 ③、Driver执行我们的Application应用程序（我们编写 阅读全文

摘要： 1.前言 算法工程师不仅要搭建模型，还要对模型进行优化及相关线上部署。这里面涉及到很多方面：特征处理（独热编码、归一化）、自定义损失函数、自定义评价函数、超参调节、构建pipeline流程线上部署（100ms返回要求）等。 2.跑模型前准备 2.1 独热编码 对于LR模型，进行独热编码（类别型）和归 阅读全文

摘要： 1.前言 在互联网风控数据挖掘中，恶意用户可划分为个人恶意和群体恶意。 1.1 个人恶意 个人恶意行为可通过RFM来获取大部分对应恶意用户的特征： R：recently，交易时间间隔，比如可以取近一周、一个月、三个月、六个月、九个月等观察时窗。 F：frequency，交易的次数，比如总的交易次数和 阅读全文

摘要： 1.混淆矩阵（一级指标） 以分类模型中最简单的二分类为例，对于这种问题，我们的模型最终需要判断样本的结果是0还是1，或者说是positive还是negative。我们通过样本的采集，能够直接知道真实情况下，哪些数据结果是positive，哪些结果是negative。同时，我们通过用样本数据跑出分类型 阅读全文