bonelee - 博客园

2018年5月25日

从信用卡欺诈模型看不平衡数据分类（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他方法：偶尔可以使用异常检测技术，IF为主

摘要：总结：不平衡数据的分类，（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他阅读全文

posted @ 2018-05-25 17:44 bonelee 阅读(3434) 评论(0) 推荐(0)

kaggle 欺诈信用卡预测——Smote+LR

摘要： from：https://zhuanlan.zhihu.com/p/30461746 本项目需解决的问题本项目通过利用信用卡的历史交易数据，进行机器学习，构建信用卡反欺诈预测模型，提前发现客户信用卡被盗刷的事件。建模思路项目背景以上取自Kaggle官网对本数据集部分介绍（谷歌翻译），关于数据阅读全文

posted @ 2018-05-25 12:11 bonelee 阅读(15279) 评论(0) 推荐(2)

kaggle 欺诈信用卡预测——不平衡训练样本的处理方法综合结论就是：随机森林+过采样（直接复制或者smote后，黑白比例1:3 or 1:1）效果比较好！记得在smote前一定要先做标准化！！！其实随机森林对特征是否标准化无感，但是svm和LR就非常非常关键了

摘要：先看数据：特征如下： Time Number of seconds elapsed between each transaction (over two days) numeric V1 No description provided numeric V2 No description provi 阅读全文

posted @ 2018-05-25 10:47 bonelee 阅读(9533) 评论(5) 推荐(0)

leetcode 437. Path Sum III

摘要： You are given a binary tree in which each node contains an integer value. Find the number of paths that sum to a given value. The path does not need t 阅读全文

posted @ 2018-05-25 00:01 bonelee 阅读(194) 评论(0) 推荐(0)

2018年5月24日

cluster KMeans need preprocessing scale????

摘要： Out: n_digits: 10, n_samples 1797, n_features 64 __________________________________________________________________________________ init time inertia 阅读全文

posted @ 2018-05-24 19:56 bonelee 阅读(826) 评论(0) 推荐(0)

神经网络结构设计不一定是第一层神经元是输入维度数

摘要： def get_model(input_dim=33): # Build neural network net = tflearn.input_data(shape=[None, input_dim]) net = batch_normalization(net) #net = tflearn.fu 阅读全文

posted @ 2018-05-24 19:30 bonelee 阅读(999) 评论(0) 推荐(0)

How to handle Imbalanced Classification Problems in machine learning?

摘要： How to handle Imbalanced Classification Problems in machine learning? from:https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-prob 阅读全文

posted @ 2018-05-24 17:48 bonelee 阅读(1013) 评论(0) 推荐(0)

Using SMOTEBoost(过采样) and RUSBoost（使用聚类+集成学习） to deal with class imbalance

摘要： Using SMOTEBoost and RUSBoost to deal with class imbalance from:https://aitopics.org/doc/news:1B9F7A99/ Binary classification with strong class imbala 阅读全文

posted @ 2018-05-24 17:30 bonelee 阅读(5686) 评论(1) 推荐(0)

随机森林特征选择

摘要： from sklearn.ensemble import RandomForestClassifier import matplotlib.pyplot as plt selected_feat_names=set() for i in range(10): #这里我们进行十次循环取交集 tmp = 阅读全文

posted @ 2018-05-24 17:04 bonelee 阅读(4297) 评论(0) 推荐(0)

python MLP 神经网络使用 MinMaxScaler 没有 StandardScaler效果好

摘要： MLP 64,2 preprocessing.MinMaxScaler().fit(X) test confusion_matrix:[[129293 2734] [ 958 23375]] precision recall f1-score support 0 0.99 0.98 0.99 132 阅读全文

posted @ 2018-05-24 11:38 bonelee 阅读(2982) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告