正文内容加载中...
posted @ 2014-05-21 20:47 xingoo 阅读(9159) 评论(52) 编辑
摘要: 本章讲述了机器学习中如何解决过拟合问题——正则化。讲述了正则化的作用以及在线性回归和逻辑回归是怎么参与到梯度优化中的。 更多内容参考 "机器学习&深度学习" 在训练过程中,在训练集中有时效果比较差,我们叫做欠拟合;有时候效果过于完美,在测试集上效果很差,我们叫做过拟合。因为欠拟合和过拟合都不能良好的阅读全文
posted @ 2018-07-19 21:17 xingoo 阅读(4) 评论(0) 编辑
摘要: 本章主要讲解了逻辑回归相关的问题,比如什么是分类?逻辑回归如何定义损失函数?逻辑回归如何求最优解?如何理解决策边界?如何解决多分类的问题? 更多内容参考 "机器学习&深度学习" 有的时候我们遇到的问题并不是线性的问题,而是分类的问题。比如判断邮件是否是垃圾邮件,信用卡交易是否正常,肿瘤是良性还是恶性阅读全文
posted @ 2018-07-18 20:52 xingoo 阅读(17) 评论(0) 编辑
摘要: 本篇主要讲的是多变量的线性回归,从表达式的构建到矩阵的表示方法,再到损失函数和梯度下降求解方法,再到特征的缩放标准化,梯度下降的自动收敛和学习率调整,特征的常用构造方法、多维融合、高次项、平方根,最后基于正规方程的求解。 更多内容参考 "机器学习&深度学习" 在平时遇到的一些问题,更多的是多特征的 阅读全文
posted @ 2018-07-16 23:23 xingoo 阅读(26) 评论(0) 编辑
摘要: 更多内容参考 "机器学习&深度学习" 矩阵的表示 矩阵的索引 向量的表示 矩阵的加法 矩阵与实数的乘法 矩阵的表达式 矩阵与向量的乘法 矩阵与矩阵的乘法 矩阵特性——不满足交换律 矩阵特性——满足结合律 单位矩阵 矩阵的逆 矩阵的转置阅读全文
posted @ 2018-07-15 10:02 xingoo 阅读(29) 评论(0) 编辑
摘要: HBase是以Region为最小的存储和负载单元(这里可不是HDFS的存储单元),因此Region的负载管理,关系到了数据读写的性能。先抛开Region如何切分不说,看看Region是如何分配到各个RegionServer的吧。 更多内容参考—— "我的大数据学习之路" Region在HBase中的阅读全文
posted @ 2018-07-12 18:47 xingoo 阅读(31) 评论(0) 编辑
摘要: 无论是ICF基于物品的协同过滤、UCF基于用户的协同过滤、基于内容的推荐,最基本的环节都是计算相似度。如果样本特征维度很高或者的维度很大,都会导致无法直接计算。设想一下100w 100w的二维矩阵,计算相似度怎么算? 更多内容参考—— "我的大数据学习之路——xingoo" 在spark中RowMa阅读全文
posted @ 2018-07-11 21:54 xingoo 阅读(121) 评论(1) 编辑
摘要: 第一章讲述了基本的机器学习的概念以及分类,这里从单变量的线性回归入手,吴恩达讲解了机器学习中的几个重要因素,如模型、损失函数、优化方法等 更多内容参考 "机器学习&深度学习" 首先以房价预测入手: | 房子的面积 | 每平米的房价 | | : : | : : | |2104 | 460| | 141阅读全文
posted @ 2018-07-10 18:25 xingoo 阅读(54) 评论(0) 编辑
摘要: 在阅读spark mllib源码的时候,发现一个出镜率很高的函数——aggregate和treeAggregate,比如matrix.columnSimilarities()中。为了好好理解这两个方法的使用,于是整理了本篇内容。 由于treeAggregate是在aggregate基础上的优化版本,阅读全文
posted @ 2018-07-09 20:33 xingoo 阅读(81) 评论(0) 编辑
摘要: 机器学习目前已经应用在很多领域,比如网页搜索、垃圾邮件过滤、点击率预测、生物信息、无人驾驶、无人机、手写体识别、自然语言处理、计算机视觉。 更多内容参考 "机器学习&深度学习" 什么是机器学习 1 机器学习一些比较难以变成的能力——Arthur Samuel 2 通过给定任务T以及性能度量P以及经验阅读全文
posted @ 2018-07-08 18:09 xingoo 阅读(100) 评论(0) 编辑
摘要: Spark MLlib里面提供了几种基本的数据类型,虽然大部分在调包的时候用不到,但是在自己写算法的时候,还是很需要了解的。MLlib支持单机版本的local vectors向量和martix矩阵,也支持集群版本的matrix矩阵。他们背后使用的都是ScalaNLP中的Breeze。 更多内容参考 阅读全文
posted @ 2018-07-07 15:11 xingoo 阅读(30) 评论(0) 编辑