神经网络和深度学习-1

习题2-1 分析为什么平方损失函数不适用于分类问题．

         损失函数的作用是衡量预测值和真实值之间的差异。分类问题中的真实值0,1仅代表不同的类别；使用平方损失函数表示预测值和真实类别值之间的距离没有实际的意义； 比如5分类问题，类别设置为0,1,2,3,4；对于类别1被预测是0和4本身没有差异，但是使用平方损失函数差异很大。

习题 2-2 在线性回归中，如果我们给每个样本 (𝒙(𝑛), 𝑦(𝑛)) 赋予一个权重 𝑟 (𝑛)，经 验风险函数为 下图计算其最优参数𝒘∗，并分析权重𝑟 (𝑛) 的作用

 

 

    局部线性回归可以实现对临近点的精确拟合同时忽略那些距离较远的点的贡献，即近点的权值大，远点的权值小，k为波长参数，控制了权值随距离下降的速度，越大下降的越快。越小越精确并且太小可能出现过拟合的问题。

但局部线性回归不会得到一条适合于全局的函数模型，在每一次预测新样本时都会重新的确定参数，从而达到更好的预测效果。当数据规模比较大的时候计算量很大，学习效率很低。

    注意：

 

 习题2-3 证明在线性回归中，如果样本数量𝑁 小于特征数量𝐷 + 1，则𝑿𝑿^T 的秩 最大为𝑁．

    由线性代数知识可知矩阵与其转置相乘的秩等于矩阵本身的秩。所以 ，而  ，即X的秩小于，等于X的行和列数最小值。同时N < D+1，所以 秩小于N。