随笔分类 - machine learning 相关
机器学习相关知识
摘要：如果将所有的Θ初始化为0会怎样？ 如果 \[\Theta _{ij}^{\left( l \right)} = 0\] 那么 \[\begin{array}{l}a_1^{\left( 2 \right)} = a_2^{\left( 2 \right)}\\\delta _1^{\left( 2
阅读全文
摘要：Numerical estimation of gradients 梯度的数值估计 用公式验证梯度是否正确 \[\frac{d}{{d\theta }}J\left( \theta \right) \approx \frac{{J\left( {\theta + \varepsilon } \rig
阅读全文
摘要：神经网络的损失函数为 \[J\left( \Theta \right) = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{k = 1}^k {y_k^{\left( i \right)}\log {{\left( {{h_\Thet
阅读全文
摘要：符号： \[\left\{ {\left( {{x^{\left( 1 \right)}},{y^{\left( 1 \right)}}} \right),\left( {{x^{\left( 2 \right)}},{y^{\left( 2 \right)}}} \right),...,\left
阅读全文
摘要：多输出神经网络如图 输出层有多个神经元 这时，h(x)是一个向量。 当运用在图像识别领域时 如果输出是 \[{h_\Theta }\left( x \right) = \left[ {\begin{array}{*{20}{c}}1\\0\\0\end{array}} \right]\] 分类为“行
阅读全文
摘要：首先介绍“和”操作 x1, x2 ∈ {0, 1} y = x1 AND x2 有 \[{h_\theta }\left( x \right) = g\left( { - 30 + 20{x_1} + 20{x_2}} \right)\] 其中g()是sigmoid函数，其图示如下 当z=4.6时，
阅读全文
摘要：当特征的数量很多的时候，逻辑回归在分类问题上就难以发挥了，这时需要运用神经网络。 神经网络的起源 Origins: Algorithms that try to mimic the brain. Was very widely used in 80s ans early 90s; popularit
阅读全文
摘要：线性回归的代价函数正则化后为 \[J\left( \theta \right){\rm{ = }}\frac{{\rm{1}}}{{{\rm{2}}m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i
阅读全文
摘要：逻辑回归的代价函数为 \[J\left( \theta \right) = - \left[ {\frac{1}{m}\sum\limits_{i = 1}^m {{y^{\left( i \right)}}\log {h_\theta }\left( {{x^{\left( i \right)}}
阅读全文
摘要：线性回归例子 如果 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x\] 通过线性回归得到的曲线可能如下图 这种情况下，曲线对数据的拟合程度不好。这种情况称为“Underfit”，这种情况属于“High bias”（高偏差）。 如果
阅读全文
摘要：多分类问题 将邮件分为不同类别/标签：工作（y=1），朋友（y=2），家庭（y=3），爱好（y=4） 天气分类：晴天（y=1），多云天（y=2），下雨天（y=3），下雪天（y=4） 医学图示（Medical diagrams）：没生病（y=1），感冒（y=2），流感（y=3） 二分类问题的示意图如下
阅读全文
摘要：问题： 给出代价函数J(θ)，需要最小化J(θ) 给出初始θ后，我们需要反复计算 \[J\left( \theta \right)\] \[\frac{\partial }{{\partial {\theta _j}}}J\left( \theta \right)\] 梯度下降算法： 重复{ \[{
阅读全文
摘要：逻辑回归的代价函数 \[J\left( \theta \right) = - \frac{1}{m}[\sum\limits_{i = 1}^m {{y^{\left( i \right)}}\log \left( {{h_\theta }\left( {{x^{\left( i \right)}}
阅读全文
摘要：训练集：\[\left\{ {\left( {{x^{\left( 1 \right)}},{y^{\left( 1 \right)}}} \right),\left( {{x^{\left( 2 \right)}},{y^{\left( 2 \right)}}} \right),...,\left
阅读全文
摘要：逻辑回归模型 如何定义hθ(x)，使得0≤hθ(x)≤1 令 \[{h_\theta }(x) = g\left( {{\theta ^T}x} \right)\] 其中g(x)称为Sigmoid function或logistic function \[g\left( z \right) = \f
阅读全文
摘要：分类问题举例（Classification） Email: Spam / Not Spam? 判断邮件是不是垃圾邮件 Online Transactions: Fraudulent(Yes / No)? 在线交易是不是欺诈 Tumor: Malignant / Benign? 肿瘤是良性还是恶性 二
阅读全文
摘要：Normal equation: Method to solve for θ analytically 正规方程：分析求解θ的方法 对于损失函数 \[J\left( {{\theta _0},{\theta _1},...,{\theta _n}} \right) = \frac{1}{{2m}}\
阅读全文
摘要：Features and Polynomial Regression We can improve our features and the form of our hypothesis function in a couple different ways. 我们可以通过几种不同的方式改进我们的特
阅读全文
摘要：“Debugging”: How to make sure gradient descent is working correctly 怎样确保梯度下降算法正确的运行 迭代次数从100-200时，损失函数变化较大； 迭代次数从300-400时，损失函数变化不大，说明算法在300处开始收敛 通过画出损
阅读全文
摘要：Feature Scalling Idea: Make sure features are on a similar scale 特征缩放 想法：确保所有的特征在相似的范围 为什么进行特征缩放？ 例如：x1 = size (0-2000 feet2) x2 = number of bedrooms
阅读全文
浙公网安备 33010602011771号