xgboost调参
摘要：
最近在做kaggle比赛，xgboost调参是个大问题。耗时，耗力啊。一个参数调半个小时啊。 看得懂吧，每个参数逐步的，调整取值范围。 建议： 每次调一个参数。 每次一个参数，输入3个数，例如：默认参数是 1， 候选范围你可以选择 【0.1,1,10】，一定要差一个数量级，这样可以圈定范围。然后通过 阅读全文
posted @ 2020-04-02 23:20 耀扬 阅读(800) 评论(0) 推荐(0)
kaggle、天池比赛免费的GPU、TPU
摘要：
最近在做天池的项目。刚入行，没有gpu，内存只有8g。i5的笔记本。可怜啊。隔三差五的就崩溃一次。千辛万苦算是把数据处理完了。可是计算模型，真的不敢想啊。 最快的是跑了一个决策树，10多分钟吧。还能接受。但是效果不太理想。xgboost斗胆试了一次，跑了8个小时，崩溃了。 寻求帮助吧。 百度的飞浆不 阅读全文
posted @ 2020-03-19 21:15 耀扬 阅读(5161) 评论(1) 推荐(2)
pandas缺失值填充时遇到的问题
摘要：
打比赛时，遇到了一个问题。填充空白值的时候，如果使用 固定值，均值啥的都没问题。 但是我想用 但是每次都是报错 经过千辛万苦终于找到了问题的根源。 原来，我在加载数据的时候使用了一个 压缩内存的函数 这里面产生了一种新的数据类型 np.float16 而这种类型，在pandas里是没有的。 pand 阅读全文
posted @ 2020-03-18 23:28 耀扬 阅读(1668) 评论(0) 推荐(1)
pandas统计每一列缺失值函数
摘要：
感谢 https://www.jianshu.com/p/9f583668f386 感谢 https://www.cnblogs.com/Mrzhang3389/p/11166800.html 阅读全文
posted @ 2020-03-14 22:28 耀扬 阅读(1013) 评论(0) 推荐(0)
pandas中滑窗rolling的使用
摘要：
函数原型和参数说明 window：表示时间窗的大小，注意有两种形式（int or offset）。如果使用int，则数值表示计算统计量的观测值的数量即向前几个数据。如果是offset类型，表示时间窗的大小。 min_periods：最少需要有值的观测点的数量，对于int类型，默认与window相等。 阅读全文
posted @ 2020-03-07 14:41 耀扬 阅读(1113) 评论(0) 推荐(0)
压缩pandas中dataframe内存
摘要：
从这里找的一个宝贝源码，可以大大缓解内存问题。https://www.kaggle.com/arjanso/reducing dataframe memory size by 65/code 阅读全文
posted @ 2020-03-06 23:02 耀扬 阅读(831) 评论(0) 推荐(0)
Pandas与SQL语句对照
摘要：
Pandas与SQL语句对照 建立学生 课程数据库 表结构 student |字段名|类型|备注| | | | | |sno|char|学号| |sname|char|姓名| |ssex|bool|性别| |sage|int|年龄| |sdept|char|所在系| course |字段名|类型|备 阅读全文
posted @ 2020-03-06 16:18 耀扬 阅读(1598) 评论(0) 推荐(0)
excel导出csv按照utf8编码
摘要：
导出excel为csv格式时候，无法按照utf8编码。千万不要用记事本。记事本在转码的时候会自动编上一个字头。 建议用 notepad或sublime text 来转码存储。 阅读全文
posted @ 2020-03-06 10:41 耀扬 阅读(1424) 评论(0) 推荐(0)
win10添加本地组策略技巧
摘要：
记事本编辑一个文件 将上述文件保存后，保存为 .bat的文件。 右键运行即可 Win+R 打开运列显示框 输入 gpedit.msc 即可 阅读全文
posted @ 2020-03-05 17:31 耀扬 阅读(519) 评论(0) 推荐(0)
pandas读取文件内存压缩妙招
摘要：
pandas读取csv文件体积太大。偶从网上发现一个好方法。就是缩小数字类型的位数。 例如：int64缩小到 int8那是最好了。依据他们的 取值范围 ，来选定数据类型。 压缩率老高了。 感谢一下 ：光于前裕于后 https://blog.csdn.net/Dr_Guo/article/detail 阅读全文
posted @ 2020-03-05 15:09 耀扬 阅读(1260) 评论(0) 推荐(1)
pandas 日期时间数据的分割提取操作
摘要：
参考 https://blog.csdn.net/weixin_44663675/article/details/101030800 阅读全文
posted @ 2020-03-04 13:47 耀扬 阅读(7278) 评论(0) 推荐(0)
数据分析常用数据集下载
摘要：
经常用到数据分析常用的数据集，收集挺麻烦的。取之于网络，还之于人民 |数据集名称|下载地址|数据集介绍| | | | | |天池二手车价格预测|链接：https://pan.baidu.com/s/1n3qRxNhmmUMugkYiFSTKQQ 提取码：66ri|| |用户对品类下店铺的购买预测|链 阅读全文
posted @ 2020-03-03 21:35 耀扬 阅读(12307) 评论(0) 推荐(2)
数据分析之KAGGLE-泰坦尼克号人员生存预测问题
摘要：
本文参考 handsye https://blog.csdn.net/handsye/article/details/83999641 对部分内容进行了修正和整理 数据分析之KAGGLE 泰坦尼克号人员生存预测问题 分析目的 完成对什么样的人可能生存的分析。 数据说明 |特征|描述| | || |s 阅读全文
posted @ 2020-03-03 17:58 耀扬 阅读(992) 评论(0) 推荐(0)
【Tensorflow】Darknet的yolov3.weights文件转换成tensorflow的ckpt或者pb文件
摘要：
原文地址：https://blog.csdn.net/heiheiya/article/details/91437196 感谢 heiheiya 。 做个学习笔记 一、下载源码 git clone https://github.com/mystic123/tensorflow-yolo-v3.git 阅读全文
posted @ 2020-03-03 13:49 耀扬 阅读(3391) 评论(0) 推荐(0)
浙公网安备 33010602011771号