摘要: 熵:H(p)=−∑xp(x)logp(x)交叉熵:H(p,q)=−∑xp(x)logq(x)相对熵:KL(p∥q)=−∑xp(x)logq(x)p(x) 相对熵(relative entropy)也叫 KL 散度(KL divergence);用来度量两分布之间的不相... 阅读全文
posted @ 2016-11-27 17:05 未雨愁眸 阅读(984) 评论(0) 推荐(0)
摘要: 熵:H(p)=−∑xp(x)logp(x)交叉熵:H(p,q)=−∑xp(x)logq(x)相对熵:KL(p∥q)=−∑xp(x)logq(x)p(x) 相对熵(relative entropy)也叫 KL 散度(KL divergence);用来度量两分布之间的不相... 阅读全文
posted @ 2016-11-27 17:05 未雨愁眸 阅读(1009) 评论(0) 推荐(0)
摘要: 1. 一种 measurement信息论中,perplexity is a measurement of how well a probability distribution or probability model predicts a sample. 其越低,... 阅读全文
posted @ 2016-11-27 16:19 未雨愁眸 阅读(286) 评论(0) 推荐(0)
摘要: 1. 一种 measurement信息论中,perplexity is a measurement of how well a probability distribution or probability model predicts a sample. 其越低,... 阅读全文
posted @ 2016-11-27 16:19 未雨愁眸 阅读(331) 评论(0) 推荐(0)
摘要: 1. top-5 error rateImageNet 图像通常有 1000 个可能的类别,对每幅图像你可以猜 5 次结果(即同时预测5个类别标签),当其中有任何一次预测对了,结果都算对(事实上一个图像也只可能属于一个图像 category ),当 5 次全都错了的时... 阅读全文
posted @ 2016-11-27 10:50 未雨愁眸 阅读(271) 评论(0) 推荐(0)
摘要: 1. top-5 error rateImageNet 图像通常有 1000 个可能的类别,对每幅图像你可以猜 5 次结果(即同时预测5个类别标签),当其中有任何一次预测对了,结果都算对(事实上一个图像也只可能属于一个图像 category ),当 5 次全都错了的时... 阅读全文
posted @ 2016-11-27 10:50 未雨愁眸 阅读(702) 评论(0) 推荐(0)