摘要: 机器学习 类别不平衡 "机器学习之类别不平衡问题 (1) —— 各种评估指标" "机器学习之类别不平衡问题 (2) —— ROC和PR曲线" "机器学习之类别不平衡问题 (3) —— 采样方法" 集成学习 + "集成学习之Boosting —— AdaBoost原理" + "集成学习之Boostin阅读全文
posted @ 2018-09-08 20:00 massquantity 阅读(75) 评论(0) 编辑
摘要: 本篇本来是想写神经网络反向传播算法,但感觉光写这个不是很完整,所以就在前面将相关的求导内容一并补上。所谓的神经网络求导,核心是损失函数对线性输出 $\mathbf{z} \;\; (\mathbf{z} = \mathbf{Wa} + \mathbf{b})$ 求导,即反向传播中的 $\delta 阅读全文
posted @ 2018-12-18 18:11 massquantity 阅读(244) 评论(1) 编辑
摘要: Spark MLlib 的官方例子里面提供的 "数据" 大部分是 libsvm 格式的。这其实是一种非常蛋疼的文件格式,和常见的二维表格形式相去甚远,下图是里面的一个例子: libsvm 文件的基本格式如下: label 为类别标识,index 为特征序号,value 为特征取值。如上图中第一行中 阅读全文
posted @ 2018-12-02 21:15 massquantity 阅读(72) 评论(0) 编辑
摘要: "集成学习之Boosting —— AdaBoost" "集成学习之Boosting —— Gradient Boosting" 集成学习之Boosting —— XGBoost Gradient Boosting 可以看做是一个总体的算法框架,起始于Friedman 的论文 "[ Greedy F阅读全文
posted @ 2018-10-16 06:53 massquantity 阅读(196) 评论(0) 编辑
摘要: 使用深度学习进行艺术风格转换始于 Leon Gatys 等人于2015年发表的论文 "A Neural Algorithm of Artistic Style" ,为普通照片 “赋予” 名画风格。由于其看上去不明觉厉的特性,在论文发表之后迅速得到了广泛关注,此后几年各种变种如雨后春笋般冒了出来,甚至阅读全文
posted @ 2018-09-18 18:03 massquantity 阅读(338) 评论(2) 编辑
摘要: 机器学习 类别不平衡 "机器学习之类别不平衡问题 (1) —— 各种评估指标" "机器学习之类别不平衡问题 (2) —— ROC和PR曲线" "机器学习之类别不平衡问题 (3) —— 采样方法" 集成学习 + "集成学习之Boosting —— AdaBoost原理" + "集成学习之Boostin阅读全文
posted @ 2018-09-08 20:00 massquantity 阅读(75) 评论(0) 编辑
摘要: AI写诗?? AI创作小说?? 近年来人们时常听到这类新闻,听上去很不可思议,那么今天我们来一探究竟,这种功能是如何通过深度学习来实现的。 通常文本生成的基本策略是借助语言模型,这是一种基于概率的模型,可根据输入数据预测下一个最有可能出现的词,而文本作为一种序列数据 (sequence data),阅读全文
posted @ 2018-08-23 06:57 massquantity 阅读(427) 评论(0) 编辑
摘要: "EM算法及其应用(一)" EM算法及其应用(二): K means 与 高斯混合模型 上一篇阐述了EM算法的主要原理,这一篇来看其两大应用 —— K means 与 高斯混合模型,主要由EM算法的观点出发。 K means K means的目标是将样本集划分为K个簇,使得同一个簇内样本的距离尽可能阅读全文
posted @ 2018-08-06 17:53 massquantity 阅读(404) 评论(0) 编辑
摘要: "机器学习之类别不平衡问题 (1) —— 各种评估指标" "机器学习之类别不平衡问题 (2) —— ROC和PR曲线" 机器学习之类别不平衡问题 (3) —— 采样方法 前两篇主要谈类别不平衡问题的评估方法,重心放在各类评估指标以及ROC和PR曲线上,只有在明确了这些后,我们才能据此选择具体的处理类阅读全文
posted @ 2018-07-28 19:12 massquantity 阅读(944) 评论(0) 编辑
摘要: 前段时间参加了Kaggle上的 "Mercari Price Suggestion Challenge" 比赛,收获良多,过些时候准备进行一些全面的总结,本篇文章先谈一个比赛中用到的小技巧。 这个比赛数据中有一个特征叫做 " item_description ",大致是一些商品描述,比如什么时候买的阅读全文
posted @ 2018-07-08 19:00 massquantity 阅读(120) 评论(0) 编辑
摘要: EM算法及其应用(一) "EM算法及其应用(二): K means 与 高斯混合模型 " EM算法是期望最大化 (Expectation Maximization) 算法的简称,用于含有隐变量的情况下,概率模型参数的极大似然估计或极大后验估计。EM算法是一种迭代算法,每次迭代由两步组成:E步,求期望阅读全文
posted @ 2018-07-04 18:36 massquantity 阅读(351) 评论(0) 编辑