08 2015 档案

3.1 公式3.8证明
摘要：关键点：用matrix notation对矩阵迹进行变换$\hat{y}=X{(X^TX)}^{-1}X^Ty=Hy$$\sum_i^n {(y_i-\hat{y}_i)}^2={(y-Hy)}^T(y-Hy)=y^Ty-y^THy-y^THy+y^TH^THy\\ \ \ =y^Ty-y^THy$... 阅读全文
posted @ 2015-08-31 15:57 porco 阅读(325) 评论(0) 推荐(0)
2.9 Model Selection and the Bias–Variance Tradeoff
摘要：结论模型复杂度↑Bias↓Variance↓ 例子$y_i=f(x_i)+\epsilon_i,E(\epsilon_i)=0,Var(\epsilon_i)=\sigma^2$ 使用knn做预测，在点$x_0$处的Excepted prediction error： ... 阅读全文
posted @ 2015-08-13 23:55 porco 阅读(310) 评论(0) 推荐(0)
2.x ESL第二章习题 2.8
摘要：题目代码12345678910111213141516171819202122232425262728293031323334353637import pandas as pdimport numpy as nptrain_full=pd.read_csv('../zip.train',sep=' ... 阅读全文
posted @ 2015-08-12 17:13 porco 阅读(269) 评论(0) 推荐(0)
2.8 Classes of Restricted Estimators
摘要：根据所加限制的不同，可以将模型分为以下几类 RSS+Roughness penalty $PRSS(f;\lambda)=RSS(f)+\lambda J(f)$ 其中$J(f)$为对函数$f$的penalty，先验知识 ... 阅读全文
posted @ 2015-08-12 14:11 porco 阅读(305) 评论(0) 推荐(0)
2.7 Structured Regression Models
摘要：$RSS(f)=\sum_i^N \left(y_i-f(x_i)\right)^2$ 当数据量足够大时，数据存在相同$x_i$，不同$y_{il},l=1\cdots t$ 则得到的f即为条件均值$E(y|X=x)$的无偏估计 ... 阅读全文
posted @ 2015-08-12 13:38 porco 阅读(326) 评论(0) 推荐(0)
2.x ESL第二章习题2.4
摘要：题目准备 $x_i\sim N(0,1)$，有$\sum_i^n x_i^2 \sim \chi^2(n)$其中$n$称为自由度，卡方分布的均值即其自由度$x_i\sim N(\mu_i,\sigma_i^2)$，有$\sum_i a_ix_i \sim N(\sum_i a_i\mu_i,\sum... 阅读全文
posted @ 2015-08-12 01:47 porco 阅读(326) 评论(0) 推荐(0)
2.6. Statistical Models, Supervised Learning and Function Approximation
摘要：Statical modelregression$y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$1.$\epsilon\sim N(0,\sigma^2)$ 2.使用最大似然估计$\rightarrow$最小二乘 $y\sim N(f_{\theta}(... 阅读全文
posted @ 2015-08-11 15:11 porco 阅读(276) 评论(0) 推荐(0)
2.x ESL第二章习题2.5
摘要：题目 描述$y_i=x_i^T\beta+\epsilon_i$$\epsilon_i\simN(0,\sigma^2)$已有训练集$\tau$，其中$X:n\times p,y:n\times 1,\epsilon:n\times 1$使用最小二乘得到$\hat{\beta}=\left(X^T... 阅读全文
posted @ 2015-08-11 00:18 porco 阅读(400) 评论(0) 推荐(0)
2.5 Local Methods in High Dimensions
摘要：##curse of dimensionality- 输入在p维立方体中符合均匀分布，如果需要覆盖比例r的体积，需要每个维度上$e_p(r)=r^{1/p}$ $e_{10}(0.01)=0.63,e_{10}(0.1)=0.8$- 输入在p维立方体中负荷均匀分布，p=1时，1000个点达到的采样... 阅读全文
posted @ 2015-08-10 17:10 porco 阅读(633) 评论(0) 推荐(0)
[x-means] 1.x-means简介
摘要：本文基于《[X-means](https://www.cs.cmu.edu/~dpelleg/download/xmeans.pdf)》和《[BIC-notes](https://github.com/bobhancock/goxmeans/blob/master/doc/BIC_notes.pdf... 阅读全文
posted @ 2015-08-01 07:39 porco 阅读(6742) 评论(0) 推荐(0)