吴恩达EX5

ex5

1. ：算法不理想从以下方面入手：

          1、增加训练数据量（高方差时起作用）

          2、增加特征数目（高偏差时起作用）

          3、减少特征数目（高方差时起作用）

          4、加大正则化系数（高方差时起作用）

          5 、减小正则化系数（高偏差时起作用）

       2. ：模型选择：

          1、最高次方，常和除θ0外的特征数目保持一致。利用训练集训练出各个次方的 hθ 。在交叉测试集上面求出均方误差即J_cv，找出最小的J_cv对应次方即可，做出Jcv和Jtrain关于           次 方的图像，注意此时不包括正则化项。

          2、  λ正则化系数选择。在一定范围内选择正则化系数，分别求出Jcv，取Jcv最小对应的λ值，做出Jcv和Jtrain关于λ图像。

          3、训练数据量对于结果的影响，取训练集子集进行并且求出Jtrain，Jcv（使用整个交叉测试集），做出Jcv和Jtrain关于训练样本数的图像

 

编程注意点：

 1、线性回归的梯度矩阵形式 :∂J =1/m* X'*(H-Y)，注意θ0 求导没有正则化项。

 2、多次幂或者多项式特征，应当进行特征缩放。