随笔分类 - Machine Learning
摘要：神经网络深层网络实现 步骤 1. 随机初始化数据 对于权重$W^{[l]}$, 一般采用$np.random.randn(l, l 1) \sqrt{{1\over{dimension\ of\ previous\ layer}}}$ 如果当前的$l$层的激活函数为$ReLU$, 则使用$He\ i
阅读全文
摘要：Gradient Optimization Gradient Descent + Batch Gradient Descent + Mini Batch Gradient Descent + Stochastic Gradient Descent Mini Batch Gradient Descen
阅读全文
摘要：Batch gradient descent Procedure + 在循环中跌倒公式$\theta_j:=\theta_j \alpha{1\over{m}}\sum_{i=1}^m(h_{\theta}(x^{(i)}) y^{(i)})x_j^{(i)}$ + 只有迭代完所有的数据, 才更新$
阅读全文
摘要：计算F1Score matlab predictions = pval
阅读全文
摘要：推荐系统(Recommender System) 案例 + 为用户推荐电影 数据展示 | | Bob | Tom | Alice | Jack | 动作成分 | 浪漫成分 | | | | | | | | | | Movie1 | 5 | ? | 0 | 3 | ? | ? | | Movie2 |
阅读全文
摘要：KMeans实现 符号 + $K$: 聚类的个数 + $x^{(i)}$: 第i个样本 + $\mu_{1},\mu_{2},...\mu_{K}$: K个中心节点 + $c^{(i)}$: 第i个样本对应的是哪个聚类, $c^{(i)}$的值在1 K + $m$: 样本的数量 + $n$: 特征的
阅读全文
摘要：Principal Component Analysis(PCA) 概念 1. 去中心化(零均值化): 将输入的特征减去特征的均值, 相当于特征进行了平移, $$x_j \bar x_j$$ 2. 归一化(标准化): 将输入的特征减去特征的均值, 得到的差在除以特征的标准差, $${{x_j \ba
阅读全文
摘要：SVM Python实现 Python实现SVM的理论知识 + SVM原始最优化问题: $$ min_{w,b,\xi}{1\over{2}}{||w||}^2 + C\sum_{i=1}^m\xi^{(i)} $$ $$ s.t. \ \ y^{(i)}(w^{T}x^{(i)} + b), i=
阅读全文
摘要：线性回归, 逻辑回归与神经网络公式相似点 + 线性回归与逻辑回归 线性回归的损失函数 $$ J(\theta)={1\over{2m}}\sum_{i=1}^{m}(h_\theta(x^{(i)}) y^{(i)})^2 $$ 逻辑回归的损失函数 $$ J(\theta)={ 1\over{m}}
阅读全文
摘要：神经网络(手写数字1 10识别) 变量 + 数据中给出的标签y为1 10之间的数字, 但是为了带入分类算法, 将$y$转为$R^{1\times10}$的向量表示1 10之间的数据, 如[0 0 0 0 1 0 0 0 0 0], 则表示5等等 + $K$: $y^{(i)}$的长度, 这里是10
阅读全文
摘要：数据降维(Dimensionality reduction) 应用范围 + 无监督学习 + 图片压缩(需要的时候在还原回来) + 数据压缩 + 数据可视化 数据压缩(Data Compression) + 将高维的数据转变为低维的数据, 这样我们存储数据的矩阵的列就减少了, 那么我们需要存储的数据就
阅读全文
摘要：无监督学习(Unsupervised Learning) 聚类无监督学习 特点 + 只给出了样本, 但是没有提供标签 + 通过无监督学习算法给出的样本分成几个族(cluster), 分出来的类别不是我们自己规定的, 而是无监督学习算法自己计算出来的 K means 聚类算法 规定 + $c^{(i)
阅读全文
摘要：MATLAB 中 SVM 实现 直接上代码 + main.m + jhsvmtrain.m + jhsvmtest.m + jhkernel.m + jhplotdata.m
阅读全文
摘要：SVM 什么是超平面 + 超平面的表达式为$\omega^Tx+b=0$, 其中$\omega$为超平面的一个法向量, b为超平面的偏移量 + 更多: 在几何中, 直线, 平面, 超平面无一例外都可以被表示成$\theta^Tx+b=0$或者$\omega^Tx+b=0$, 其中, 因为x没有包含偏
阅读全文
摘要：拉格朗日乘数法 等式约束 + 作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数 + 以上是从别人的
阅读全文
摘要：机器学习中的常用操作 + 输入节点到隐藏节点，特征数量n可能会变化，这个取决于我们定义的隐藏层的节点个数，但是样本数量m是不变的，从隐藏层出来还是m + 在预测的时候，我们需要不断的迭代输入的特征 提高精度 + 增加样本数量 解决high variance + 减少特征 解决high varianc
阅读全文
摘要：单词列表 + eradicate: 根除 + epidemic: 流行 + cumulative: 积累 + feasibility: 可行性 + discrepancy: 差异 + critical: 批评的；决定性的 + corpse: 尸体 + intervention: 介入 + infec
阅读全文
摘要：神经网络案例 摘要 + 在Compute Vision（计算机视觉）中，我们输入的是一张一张的图片，但是在计算机看来，每一张图片都是由一个一个像素点组成的，那么，什么是我们的输入样本X，什么又是我们的标签y？在图像识别中，一张图片所有像素点就是一个样本，也就是矩阵X中的一行，y就是对这个图片判断的结
阅读全文
摘要：机器学习摘要 matlab 损失函数 + 对应一个已经确定了参数的cost function，尽管输入的参数是向量或者是矩阵，但是返回的$J(\theta)$一定是一个实数 + $J(\theta)$是将所有训练样本都输入到模型中计算，返回一个实数 + 更新假设函数的参数是在输入了所有的训练样本到模
阅读全文
浙公网安备 33010602011771号