摘要: 其实构建rnn的代码十分简单,但是实际上看了下csdn以及官方tutorial的解释都不是很详细,说的意思也不能够让人理解,让大家可能会造成一定误解,因此这里对rnn的参数做一个详细的解释: self.encoder = nn.RNN(input_size=300,hidden_size=128,d 阅读全文
posted @ 2022-01-19 11:59 Geeksongs 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 一.基于统计值的筛选方法 1.过滤法:选择特征的时候,不管模型如何,首先统计计算该特征和和label的一个相关性,自相关性,发散性等等统计指标。 优点:特征选择开销小,有效避免过拟合 缺点:没有考虑后续的学习器来选择特征,减弱了学习器的学习能力(因为某些特征可能和label算出来相关性不大,但是可能 阅读全文
posted @ 2021-12-10 14:38 Geeksongs 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 我总结了以下特征工程的一些方法,好的数据和特征往往在数据挖掘当中会给我们带来更好的acc,尤其对于数据挖掘而言。数据决定了预测准确度的上线,而模型的目的则是去尽量逼近这个上限。由此可见,对数据进行特征工程,拥有良好的数据是多么的重要。 对于特征工程而言,我们一般会对类别型数据或者数值型数据进行相应的 阅读全文
posted @ 2021-12-10 13:18 Geeksongs 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 【与传统GBDT相比,XGBoost有何不同】 基函数不同。GBDT只用CART树,XGBoost除了CART,也支持线性函数。 目标不同。具体体现在结点分裂策略与正则化。GBDT和XGBoost都是根据目标增益分裂结点,GBDT根据均方误差(回归)或基尼指数(分类),XGBoost则进一步引入正则 阅读全文
posted @ 2021-12-07 18:02 Geeksongs 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 在决策树算法当中,cart回归树是决策树的一种,它用来做回归的策略十分常见。可能还会在后续的GBDT模型当中所运用到,用来作为我们分裂节点的一个标准,我们来了解了解。 备注: 在进行计算回归树的c1和c2的值的时候,我们使用的方法,是对c1所在的区域做一个平均值,然后对c2的所在的区域算出一个平均值 阅读全文
posted @ 2021-12-07 17:46 Geeksongs 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 1.optuna基本使用 Optuna是一个自动帮助我们调试参数的工具,使用起来十分方便。比sklearn的gridsearchcv好用很多,一是因为optuna相比于sklearn能够快速进行调参,二是因为它可以将调试参数的过程进行可视化。同时可以如果没训练完,下次继续训练。而optuna内部使用 阅读全文
posted @ 2021-11-20 09:54 Geeksongs 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 1.seq2seq 一般在我们序列模型当中,都会分为encoder和decoder两个部分,如下图所示: 而我们的transformer变形金刚其实相当于是一种对我们seq2seq的一种升级版本,也就是在seq2seq上加上了self-attention,也就变成了我们的transformer,我们 阅读全文
posted @ 2021-11-09 22:13 Geeksongs 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 因为本文实在是总结得太好了,本着尊重作者的态度给出原文链接:https://zhuanlan.zhihu.com/p/429901476 本人也在原文的基础上做了一些补充和改进,增加了一些重要的知识点,得到了现在一个比较完善的版本。 前言 真的是千呼万唤始出来emmmm,去年春招结束写了篇面试的经验 阅读全文
posted @ 2021-11-08 10:53 Geeksongs 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 备注:如果标记为了国际学生,则有95%的概率为中国学生,可能偶尔夹杂着一两个印度人。 2018 4th Year Economics Honours Class  2013-2018 Economics Honours Students Initial Graduate Placements To 阅读全文
posted @ 2021-11-04 22:35 Geeksongs 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 代码如下: def objective(trial,data=data,target=target): train_x, test_x, train_y, test_y = train_test_split(data, target, test_size=0.15,random_state=42) 阅读全文
posted @ 2021-11-04 11:42 Geeksongs 阅读(75) 评论(0) 推荐(0) 编辑

Coded by Geeksongs on Linux

All rights reserved, no one is allowed to pirate or use the document for other purposes.