2019年5月3日

梯度下降：SGD vs Momentum vs NAG vs Adagrad vs Adadelta vs RMSprop vs Adam

摘要：原文地址：https://www.jianshu.com/p/7a049ae73f56 梯度下降优化基本公式：${\theta\leftarrow\theta \eta\cdot\nabla_\theta{J(\theta)}}$ 一、三种梯度下降优化框架这三种梯度下降优化框架的区别在于每次更新模阅读全文

posted @ 2019-05-03 15:38 cherrychenlee 阅读(467) 评论(0) 推荐(0)

Bagging vs Boosting vs Stacking

摘要：原文地址：https://www.jianshu.com/p/9dacdc88d3ec + Bagging 用于减小方差。使用训练数据的不同随机子集（大小常等于训练数据，采用不放回的方式进行抽取）来训练每个base model，最后对每个base model进行权重相同的vote。分类问题取众数，阅读全文

posted @ 2019-05-03 13:39 cherrychenlee 阅读(237) 评论(0) 推荐(0)

Naive RNN vs LSTM vs GRU、attention基础

摘要：原文地址：https://www.jianshu.com/p/b8653f8b5b2b 一、Recurrent Neural Network 二、Naive RNN Naive RNN更新参数时易出现梯度消失/爆炸的问题。三、LSTM + peephole + Naive RNN vs LSTM 阅读全文

posted @ 2019-05-03 11:55 cherrychenlee 阅读(1490) 评论(0) 推荐(0)

Logistic Regression vs Naive Bayes

摘要：原文地址：https://www.jianshu.com/p/930813af53c7 相同逻辑回归和朴素贝叶斯都是对条件概率$P(y|X)$进行建模，使得最终的分类结果有很好的解释性。不同具体流程 + 逻辑回归：假设$P(y=1|X)$满足逻辑函数 $$\delta(z)=\frac{1} 阅读全文

posted @ 2019-05-03 11:17 cherrychenlee 阅读(263) 评论(0) 推荐(0)

2019年5月2日

机器学习技法笔记：Homework #8 kNN&RBF&k-Means相关习题

摘要：原文地址：https://www.jianshu.com/p/1db700f866ee 问题描述程序实现 kMeans.py coding:utf 8 from numpy import random from kNN_RBFN import def kMeans(t,k,dataArray): 阅读全文

posted @ 2019-05-02 23:09 cherrychenlee 阅读(232) 评论(0) 推荐(0)

机器学习技法笔记：16 Finale

摘要：原文地址：https://www.jianshu.com/p/4d86d36d6ec6 Roadmap Feature Exploitation Techniques Error Optimization Techniques Overfitting Elimination Techniques M 阅读全文

posted @ 2019-05-02 23:05 cherrychenlee 阅读(137) 评论(0) 推荐(0)

机器学习技法笔记：15 Matrix Factorization

摘要：原文地址：https://www.jianshu.com/p/51c725131851 Roadmap Linear Network Hypothesis Basic Matrix Factorization Stochastic Gradient Descent Summary of Extrac 阅读全文

posted @ 2019-05-02 22:59 cherrychenlee 阅读(143) 评论(0) 推荐(0)

机器学习技法笔记：14 Radial Basis Function Network

摘要：原文地址：https://www.jianshu.com/p/c517880ed9e4 Roadmap RBF Network Hypothesis RBF Network Learning k Means Algorithm k Means and RBF Network in Action Su 阅读全文

posted @ 2019-05-02 22:52 cherrychenlee 阅读(127) 评论(0) 推荐(0)

机器学习技法笔记：13 Deep Learning

摘要：原文地址：https://www.jianshu.com/p/ddd4deede329 Roadmap Deep Neural Network Autoencoder Denoising Autoencoder Principal Component Analysis Summary 阅读全文

posted @ 2019-05-02 22:44 cherrychenlee 阅读(96) 评论(0) 推荐(0)

机器学习技法笔记：Homework #7 Decision Tree&Random Forest相关习题

摘要：原文地址：https://www.jianshu.com/p/7ff6fd6fc99f 问题描述程序实现 13 15 coding:utf 8 decision_tree.py import numpy as np def ReadData(dataFile): with open(dataFil 阅读全文

posted @ 2019-05-02 21:49 cherrychenlee 阅读(195) 评论(0) 推荐(0)

导航

2019年5月3日

2019年5月2日