代码改变世界

随笔分类 -  Data Mining & Machine Learning

新闻推荐系统:基于内容的推荐算法(Recommender System:Content-based Recommendation)

2018-07-07 14:32 by bluemapleman, 5626 阅读, 收藏, 编辑
摘要: 因为开发了一个新闻推荐系统的模块,在推荐算法这一块涉及到了基于内容的推荐算法(Content Based Recommendation),于是借此机会,基于自己看了网上各种资料后对该分类方法的理解,用尽量清晰明了的语言,结合算法和自己开发推荐模块本身,记录下这些过程,供自己回顾,也供大家参考~ 目录 阅读全文

Anomaly Detection-异常检测算法(Coursera-Ng-ML课程)

2018-07-07 14:31 by bluemapleman, 308 阅读, 收藏, 编辑
摘要: 现实生活中有许多需要提前预防一些异常问题出现的情况,例如在飞机起飞前,对飞机各部分进行评估,看发动机等各个零件是否性能正常,若有潜在的问题(可能出现异常情况),则需要及时检修或更换。 那么我们如何去评估异常是否存在呢? 利用联合概率分布~ [TOC] 联合概率分布 $X表示一系列随机变量\{X_1, 阅读全文

大规模机器学习(Large Scale Machine Learning)

2018-07-07 14:29 by bluemapleman, 1576 阅读, 收藏, 编辑
摘要: 本博客是针对Andrew Ng在Coursera上的machine learning课程的学习笔记。 [toc] 在大数据集上进行学习(Learning with Large Data Sets) 由于机器学习系统的性能表现往往要求其算法是low biased(在训练集上的训练误差小),并且在尽可能 阅读全文

推荐系统(Recommender Systems)

2018-07-07 14:29 by bluemapleman, 1071 阅读, 收藏, 编辑
摘要: 本博客是针对Andrew Ng在Coursera上的machine learning课程的学习笔记。 [toc] 基于内容的推荐(Content based recommendation) 问题表述 假设我们有如下评分矩阵(纵向为同一用户的评分对不同电影的评分,横向为不同用户对同一部电影的评分): 阅读全文

支持向量机(Support Vector Machine)

2018-07-07 14:28 by bluemapleman, 427 阅读, 收藏, 编辑
摘要: 本博客是针对Andrew NG在Coursera上发布的Machine Learning课程SVM部分的学习笔记。 [toc] 前言 相比logistic regression和neural network,SVM作为一种可以学习到复杂非线性模型的学习算法,也是效果非常强大的,因此在工业界和学术界都 阅读全文

图片OCR(Optical Character Recognition)

2018-07-07 14:28 by bluemapleman, 819 阅读, 收藏, 编辑
摘要: [toc] Photo OCR问题描述 随着网络上的图片的数量越来越多,读取图片上的文字成为了一个日益增强的需求。 按照photo ocr问题的各个处理流程,我们可以大致为不同的环节分配不同数量的人去进行。 滑动窗口(Sliding Windows) 文字检测和行人检测的差别: 行人由于其矩形的长宽 阅读全文

结构化学习(Structured Learning)

2018-07-07 14:25 by bluemapleman, 8595 阅读, 收藏, 编辑
摘要: 本博客是针对李宏毅教授在youtube上上传的Machine Learning课程视频的学习笔记。 "课程链接" [TOC] 引入 我们之前学习到的学习模型的输入与输出一直以来都是向量(vector),但是在实际问题中,我们的输入输出可能是别的结构。 比如,我们可能会需要输入输出是序列(sequen 阅读全文

特征选择与稀疏学习(Feature Selection and Sparse Learning)

2018-07-07 14:08 by bluemapleman, 6465 阅读, 收藏, 编辑
摘要: 本博客是针对周志华教授所著《机器学习》的“第11章 特征选择与稀疏学习”部分内容的学习笔记。 在实际使用机器学习算法的过程中,往往在特征选择这一块是一个比较让人模棱两可的问题,有时候可能不知道如果想要让当前的模型效果更好,到底是应该加还是减掉一些特征,加又是加哪些,减又是减哪些,所以借着对这一章内容 阅读全文

使用sklearn做单机特征工程(Performing Feature Engineering Using sklearn)

2017-12-25 18:34 by bluemapleman, 230 阅读, 收藏, 编辑
摘要: 本文转载自使用sklearn做单机特征工程目录目录特征工程是什么数据预处理1 无量纲化11 标准化12 区间缩放法13 标准化与归一化的区别2 对定量特征二值化3 对定性特征哑编码4 缺失值计算5 数据变换6 回顾特征选择1 Filter11 方差选择法12 相关系数... 阅读全文