liyuxia

摘要： 参考自：Andrew Moore:http://www.cs.cmu.edu/~awm/tutorials参考文档见：AndrewMoore_InformationGain.pdf1、 信息熵：H(X) 描述X携带的信息量。 信息量越大（值变化越多），则越不确定，越不容易被预测。 对于抛硬币问题，每次有2种情况，信息熵为1 对于投骰子问题，每次有6中情况，信息熵为1.75 下面为公式： 其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8, 可以用x1: 1, x2: ... 阅读全文

摘要： 我们都知道英语是国际通用语言，虽然英语较之汉语简单很多，但让大多数非英语为母语的认识熟练应用英语，其难度还是太大。 那么是否可以有一种语言，简单到世界上大部分人都可以无障碍的熟练掌握呢？ 世界语就是在此背景下产生的人工语言， 旨在消除国际交往的语言障碍。 世界语(Esperanto), 由波兰籍犹太人柴门霍夫博士(L.L.Zamenhof)于1887年在印欧语系的基础上创立的一种人造语， 阅读全文

摘要： 本周题目包括： 1. 线性回归问题的成本函数和梯度（正则化的）; 2. 学习曲线 ( learning curve); 3. 特征扩充 (poly features); 4. 验证曲线（validation curve); 阅读全文

摘要： 我们知道，一个模型不会是一撮而就的，需要根据问题不断改进已达到一个理想状态。 对于一个模型改进的思路通常有： 1. 增加训练样本集合; 2. 用更多/更少的特征; 3. 加大/减小正则化系数; 4. 提高预测函数阶数（对线性回归问题）; 阅读全文

摘要： 本周题目有： 1. sigmoid函数的梯度； 2. 成本函数（正则化的）（正向传播）； 3. 梯度（正则化的）（反向传播）； 同时给我们提供了，check梯度法的代码。； 阅读全文

摘要： 本周编程题有： 1. 矩阵形式的正则化logistic回归方法的迭代式 （成本函数&梯度下降公式）; 2. 多分类问题机器学习训练（基于正则化logistic回归方法）; 3. 多分类问题预估 （基于正则化logistic方法）; 4. 多分类问题预估 （基于神经网络，以及已知权重theta）; 阅读全文

摘要： 本周题目包括： 1. sigmoid 函数表达式 2. logistic 回归方法的成本函数 3. logistic 回归方法的梯度下降法 4. 二分类的预测函数 5. 正则化的logistic回归方法的成本函数 6. 正则化的logistice回归方法的梯度下降法 阅读全文

摘要： 这里是斯坦福大学机器学习网络课程的学习笔记。课程地址是：https://class.coursera.org/ml-2012-002/lecture/index一、过拟合：是指因过分强调对训练样本的效果导致过度拟合，使得对未知预测样本效果就会变差的一种情况。二、什么情况下出现过拟合： 当你拟合的函数中，一些特征权重阶数越高时，过度拟合的情况越有可能发生，反之阶数越小，过拟合发生概率越小，甚至会欠拟合。 比如有三个拟合函数： a0 +a1x1+ a2x2 a0+a1x1+ a2x2+ a3x12+ a4x22 a0+a1x1+ a2x2 + a3x12 + a4x22+ a5x13 + a... 阅读全文

摘要： 这里是斯坦福大学机器学习网络课程的学习笔记。课程地址是：https://class.coursera.org/ml-2012-002/lecture/index分类问题：比如性格分类问题、新闻话题分类问题等，需要预测出不同类别的问题。 一般设定二分类问题预测值为0或1，下面以二分类为主介绍，后续会将多分类问题。logistic回归模型解分类问题： 我们已经了解了线性回归问题的预测函数是：h(a,X)= aTX，分类问题的预测函数跟这个不同。 分类问题的一个预测函数是：h(a,X)= g( aTX )，且是y=1当h(a,X)>=0.5; y=0当h(a,X)<0.5， 其中g(z) 阅读全文

摘要： 编程题地址：https://class.coursera.org/ml-2012-002/assignment/index 题目包括计算成本函数，下降梯度， 正规方程组，特征归一化 阅读全文