随笔分类 -  机器学习（Machine learning）

摘要：1. Neural network formulation Notations：$x$为输入，$y$为输出，用$n_l$表示网络的层数，$s_l$表示第$l$层的节点数（不考虑bias），输入层记为$a^{(1)}=x$ $$z^{(l+1)}=W^{(l)}a^{(l)}+b^{(l)}$$ $$... 阅读全文

摘要：问题描述 考虑二分类问题， \begin{equation}p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}=\frac{1}{1+exp(-a)}=\sigma(a)\end{equation} 其中$a=ln\frac{p... 阅读全文

摘要：分类问题的两种解决方案 给定训练数据$T=\{(X_i, Y_i), i = 1, 2, 3, \ldots, N\}$，$Y$是categorical variable，假设有$K$类。分类问题就是给定sample的x去预测y，也就是学习条件概率$P(Y|X)$。一个直观的解是$\hat{k} =... 阅读全文