第十章 线性判别式

1，1（b）：b为真时返回1，否则返回0.

 

2，一次判别式：gi(x|wi,wi0)=wi^Tx +w_i0，其中w 为d维向量

 

---

3，范数：

3.1

向量范数

,令x=( x1,x2,…,xn)T

1-范数:║x║1=│x1│+│x2│+…+│xn│

2-范数:║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)

易得 ║x║∞≤║x║2≤║x║1≤n1/2║x║2≤n║x║∞

定理1.Cn中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使

m║x║α≤║x║β≤M║x║

可根据范数的连续性来证明它.由定理1可得

定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则

║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→

∞)

其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.此时称{x(k)}收敛于x,记作x(k)

→x(k→∞),或 .

---

 

4，E(W|x)表示参数W在训练集x上的误差。

5，logit(y)=log((y/(1-y)):逻辑斯谛判别式

6，s形函数：y=ˆp(C1|X) = {1+exp[-(W^TX+w_o)]}^-1      =sigmoid [p(C1|X)]  作为p(C1|X)估计

7，互熵（cross-entropy）:E=-logL

8，逻辑斯谛判别式算法是否能够改进？

 9，梯度下降：