随笔分类 -  网上什么都有 但是拿来就是我的了

摸鱼学习日记！我要当优秀的算法工程师！
DoWhy - 因果推断 建模入门 简单样例学习与解读
摘要：因为工作原因，需要进行因果推断的分析，在这里进行一个DoWhy工具的简单入门。 分析入口：https://github.com/py-why/dowhy/blob/main/docs/source/example_notebooks/dowhy_example_effect_of_memberrew 阅读全文
posted @ 2022-12-13 19:06 土星狗蛋 阅读(795) 评论(0) 推荐(0)
泛化误差的理解
摘要：最终目的是学习一个模型使其更加接近这个真实模型。 方差的含义：方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。 偏差的含义：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。 噪声的含义：噪声则表达了在当前任务上任何学习算法所能达 阅读全文
posted @ 2022-10-14 17:53 土星狗蛋 阅读(669) 评论(0) 推荐(0)
数据挖掘-报告 细说 离群值处理
摘要：最近在弄这个 需要弄明白这些原理 我要知道为什么要这么做 如何做 有什么类型 如何对比做了前后 然后加到报告里 包含part：原理 处理前 处理后 大多数的参数统计数值，如均值、标准差、相关系数 等，以及基于这些参数的统计分析，均对离群值高度敏感。因此，离群值的存在会对数据分析造成极大影响。 离群值 阅读全文
posted @ 2022-10-08 16:59 土星狗蛋 阅读(2440) 评论(0) 推荐(0)
【读文章】2-特征编码的一些总结-推荐系统、数据挖掘、特征工程
摘要：特征处理编码：数据类型：数值 字符是否有顺序类别数量：高低基数1、独热编码 针对无序低基数类离散特征，使之变为哑特征不适合高基数的特征2、标签编码：针对无序低基数类型的离散特征 形式简单且对于低基数特征有效3、woe编码：代表特征对于y标签的预测能力，常用于描述区分好坏客户的衡量标准 4、平均数编码 阅读全文
posted @ 2022-09-06 02:37 土星狗蛋 阅读(149) 评论(0) 推荐(0)
【读论文】1-关于流媒体预测-推荐系统、数据挖掘
摘要：一些有意思的 点： 1、使用推荐算法根据用户预测的热度结果累加，作为最终预测的实体热度 2、根据实际需求，指定两个模型评判的标准： 数值型，直接和数值比较；分类型，看能否映射到特定区间 3、 均方误差：均方根误差：平方误差：对异常值有更大权重异常值有的情况下看maeR平方：展示背离程度、实际预测的线 阅读全文
posted @ 2022-09-01 19:26 土星狗蛋 阅读(44) 评论(0) 推荐(0)
摸鱼喽哈哈！！！8.17 写了就是我的
摘要：1、一个数组，有很多个字典 长这样： data_list=[{'Type1':114,'Type2':514},{'Type1':1919,'Type2':810}] 一般json获取的数据，就可能会长成这个样子，问题不大 可以直接df一下： import pandas as pd for i in 阅读全文
posted @ 2022-08-17 11:48 土星狗蛋 阅读(24) 评论(0) 推荐(0)
写了就是我的了 8.12
摘要：1、包含[[],[],[],]的list，转为dataframe的写法 ： dft=pd.DataFrame(Lists_tot[1:],columns=Lists_tot[0]) 2、字典转为list： list2=list(t1.values()) 保留值字段 lists=list(t1)保留k 阅读全文
posted @ 2022-08-12 11:37 土星狗蛋 阅读(31) 评论(0) 推荐(0)
遍历生成dataframe
摘要：真丢人 我居然不会写这个 今天整理了赶紧加上去 生成数据的分布 观察指定列 def read_data_range(df,step,ranges,type): # step=100000 #,'分位数 25','分位数 50','分位数 75','标准差' dff = pd.DataFrame(co 阅读全文
posted @ 2022-06-20 11:22 土星狗蛋 阅读(124) 评论(0) 推荐(0)
不科学计数法
摘要：哈哈我真的服了次次都要改这个 import pandas as pd pd.set_option('display.float_format',lambda x:'%.3f' %x) 阅读全文
posted @ 2022-06-20 10:19 土星狗蛋 阅读(37) 评论(0) 推荐(0)