小日头

摘要： 看了知乎一篇博文当我们优化损失函数时，我们在优化什么收获良多，对机器学习分类和回归中损失函数和正则项也有了更深的认识。理解了这些，可以加深对逻辑回归，Softmax,线性回归等机器学习方法的理解，知道为什么要这样。现简单总结一下。 贝叶斯公式：$p(x|y)=\frac{p(y|x)p(x)}{p( 阅读全文

摘要： Softmax Regression是逻辑回归在多分类问题上的推广，主要用于处理多分类问题，其中任意两个类别之间都是线性可分的。 假设有$k$个类别，每个类别的参数向量为${\theta}_j $，那么对于每个样本，其所属类别的概率为： \[P({{y}_{i}}|X,{{\theta }_{j}} 阅读全文

摘要： 线性回归是最典型的回归问题，其目标值与所有的特征之间存在线性关系。线性回归于逻辑回归类似，不同的是，逻辑回归在线性回归的基础上加了逻辑函数，从而将线性回归的值从实数域映射到了0-1，通过设定阀值，便实现了回归的0-1分类，即二分类。 线性回归函数$Y=XW$，其中Y是1*n维向量，X是n*m矩阵，W 阅读全文

摘要： 逻辑回归（Logistics Regression）是广义线性模型中的一种，其取值为0或1，服从伯努利分布。而伯努利家族的正则响应函数就是sigmoid函数，因此逻辑回归为什么选用sigmoid函数的理论原因。同时，sigmoid函数好处有： 1. 将现行分类器的响应值 <w , x> (内积) 映 阅读全文

摘要： Python里经常需要绘图，客http://nbviewer.jupyter.org/github/lijin-THU/notes-python/blob/master/index.ipynb ，此博文里有详细的Python学习笔记，针对绘图也有详细的说明。此文仅为自己学习实践的记录。 1. plt 阅读全文

摘要： 在Python 3 环境下，根据实际使用Pandas的一些经验，简单总结了一下Pandas的使用要点。 Pandas 有三种结构， 都可以指定索引，默认情况下，索引值从0。三种结构分别为： Serie:一维同类型结构 DataFrame：二维结构，每列的类型相同 Panel：三维结构 1. Seri 阅读全文

摘要： 在Python 3 环境下，根据切身使用Numpy经验，总结了一些小的常用的Numpy方法和技巧。 1. np.array 可将序列对象（如列表和元包）转换为数组，可以生成一维或多维数组，生成多维数组时要对齐。 a = [[1,2,3],[4,5,6]]b = np.array(a) 2. 数组与列 阅读全文