机器学习 - 随笔分类 - tan_2810

用PMML实现机器学习模型的跨平台上线

摘要：在机器学习用于产品的时候，我们经常会遇到跨平台的问题。比如我们用Python基于一系列的机器学习库训练了一个模型，但是有时候其他的产品和项目想把这个模型集成进去，但是这些产品很多只支持某些特定的生产环境比如Java，为了上一个机器学习模型去大动干戈修改环境配置很不划算，此时我们就可以考虑用预测模型标阅读全文

posted @ 2019-12-05 16:11 tan_2810 阅读(438) 评论(0) 推荐(0)

【集成学习】sklearn中xgboost模块的XGBClassifier函数

摘要：# 常规参数 booster gbtree 树模型做为基分类器（默认） gbliner 线性模型做为基分类器 silent silent=0时，不输出中间过程（默认） silent=1时，输出中间过程 nthread nthread=-1时，使用全部CPU进行并行运算（默认） nthread=1时，阅读全文

posted @ 2019-10-31 18:39 tan_2810 阅读(2146) 评论(0) 推荐(0)

TensorFlow Federated：基于分散式数据的机器学习

摘要：https://www.tensorflow.org/federated/ TensorFlow Federated (TFF) 是一个开源框架，用于对分散式数据进行机器学习和其他计算。我们开发 TFF 是为了促进联合学习 (FL) 的开放研究和实验，FL 是一种机器学习方法，使我们能够跨多个参与客阅读全文

posted @ 2019-10-31 18:36 tan_2810 阅读(1619) 评论(0) 推荐(0)

联邦学习（Federated Learning）

摘要：联邦学习简介联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效阅读全文

posted @ 2019-10-31 18:35 tan_2810 阅读(4636) 评论(0) 推荐(0)

联邦学习 Federated Learning 相关资料整理

摘要：本文链接：https://blog.csdn.net/Sinsa110/article/details/90697728代码微众银行+杨强教授团队的联邦学习FATE框架代码：https://github.com/WeBankFinTech/FATE谷歌联邦迁移学习TensorFlow Federat 阅读全文

posted @ 2019-10-31 18:34 tan_2810 阅读(2412) 评论(0) 推荐(0)

XGBoost、LightGBM参数讲解及实战

摘要：本文链接：https://blog.csdn.net/linxid/article/details/80785131XGBoost一、API详解xgboost.XGBClassifier1.1 参数1.1.1 通用参数：booster=‘gbtree’ 使用的提升数的种类 gbtree, gblin 阅读全文

posted @ 2019-09-25 18:37 tan_2810 阅读(2174) 评论(0) 推荐(0)

XGBoost和LightGBM的参数以及调参

摘要：一、XGBoost参数解释 XGBoost的参数一共分为三类： Note: 我下面介绍的参数都是我觉得比较重要的, 完整参数请戳官方文档 1.通用参数 2.Booster参数 n_estimator: 也作num_boosting_rounds 这是生成的最大树的数目，也是最大的迭代次数。 lear 阅读全文

posted @ 2019-08-28 17:11 tan_2810 阅读(934) 评论(0) 推荐(0)

LGBMClassifier参数

摘要：本文链接：https://blog.csdn.net/starmoth/article/details/845867091.boosting_type=‘gbdt’# 提升树的类型 gbdt,dart,goss,rf2.num_leavel=32#树的最大叶子数，对比xgboost一般为2^(max 阅读全文

posted @ 2019-08-28 17:11 tan_2810 阅读(9057) 评论(0) 推荐(0)

Hebye 深度学习中Dropout原理解析

摘要：1. Dropout简介 1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预阅读全文

posted @ 2019-08-03 00:46 tan_2810 阅读(200) 评论(0) 推荐(0)

Setting up the data and the model

摘要：Table of Contents: Setting up the data and the model Data Preprocessing Weight Initialization Batch Normalization Regularization (L2/L1/Maxnorm/Dropou 阅读全文

posted @ 2019-08-02 23:24 tan_2810 阅读(354) 评论(0) 推荐(0)

TF-IDF算法介绍及实现

摘要：目录 1、TF-IDF算法介绍（1）TF是词频(Term Frequency) （2） IDF是逆向文件频率(Inverse Document Frequency) （3）TF-IDF实际上是：TF * IDF 2、TF-IDF应用 3、Python3实现TF-IDF算法 4、NLTK实现TF-I 阅读全文

posted @ 2019-07-17 18:32 tan_2810 阅读(7453) 评论(0) 推荐(0)

XGBoost使用教程（与sklearn一起使用）二

摘要：一、导入必要的工具包# 运行 xgboost安装包中的示例程序from xgboost import XGBClassifier # 加载LibSVM格式数据模块from sklearn.datasets import load_svmlight_filefrom sklearn.metrics i 阅读全文

posted @ 2019-07-08 23:17 tan_2810 阅读(1143) 评论(0) 推荐(0)

XGBoost使用教程（纯xgboost方法）一

摘要：一、导入必要的工具包# 导入必要的工具包import xgboost as xgb # 计算分类正确率from sklearn.metrics import accuracy_score二、数据读取XGBoost可以加载libsvm格式的文本数据，libsvm的文件格式（稀疏特征）如下：1 101: 阅读全文

posted @ 2019-07-08 23:16 tan_2810 阅读(4587) 评论(1) 推荐(0)

XGBoost 参数介绍

摘要：XGBoost 的设置有三种参数：一般参数，提升参数和学习参数。一般参数取决于提升器，通常是树或线性模型提升参数取决于选择的提升器的相关参数学习参数取决于指定学习任务和相应的学习目标一般参数 (general parameters) booster：选择提升器，默认是 treesilent：阅读全文

posted @ 2019-07-08 23:14 tan_2810 阅读(2015) 评论(0) 推荐(0)

机器学习中的范数规则化之 L0、L1与L2范数

摘要：原文：https://blog.csdn.net/zouxy09/article/details/2497199 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家阅读全文

posted @ 2019-07-08 23:11 tan_2810 阅读(312) 评论(0) 推荐(0)

极大似然估计和贝叶斯决策详解

摘要：原博客链接1 ：https://blog.csdn.net/zengxiantao1994/article/details/72787849 原博客链接2: https://blog.csdn.net/linyanqing21/article/details/50939009 主要内容：总结起来，最阅读全文

posted @ 2019-07-08 23:10 tan_2810 阅读(311) 评论(0) 推荐(0)

数据挖掘特征提取方法-汇集

摘要：1.基于树模型提取特征 2.基于L1，L2惩罚值提取特征 3.递归特征消除法提取特征 4.互信息选择法提取特征 5.利用相关系数选择特征 6.卡方检验法提取特征 7.利用方差选择特征参考：https://www.kesci.com/ 阅读全文

posted @ 2019-07-08 23:08 tan_2810 阅读(702) 评论(0) 推荐(0)

机器学习和数据比赛资料汇总

摘要：https://github.com/endymecy/spark-ml-source-analysis https://github.com/qqgeogor/kaggle-quora-solution-8th https://ocw.mit.edu/courses/electrical-engi 阅读全文

posted @ 2019-07-08 23:07 tan_2810 阅读(869) 评论(0) 推荐(0)

XGBoost使用教程（进阶篇）三

摘要：一、Importing all the libraries import pandas as pdimport numpy as npfrom matplotlib import pyplot as plt from sklearn.model_selection import cross_val_ 阅读全文

posted @ 2019-07-08 23:05 tan_2810 阅读(1225) 评论(0) 推荐(0)

XGBoost 输出特征重要性以及筛选特征

摘要：1.输出XGBoost特征的重要性 from matplotlib import pyplot pyplot.bar(range(len(model_XGB.feature_importances_)), model_XGB.feature_importances_) pyplot.show() 也阅读全文

posted @ 2019-07-08 22:59 tan_2810 阅读(3490) 评论(0) 推荐(0)

随笔分类 - 机器学习