摘要: KL散度&互信息 KL散度(KL divergence) 假设我们是一组正在广袤无垠的太空中进行研究的科学家。我们发现了一些太空蠕虫,这些太空蠕虫的牙齿数量各不相同。现在我们需要将这些信息发回地球。但从太空向地球发送信息的成本很高,所以我们需要用尽量少的数据表达这些信息。我们有个好方法:我们不发送单 阅读全文
posted @ 2020-01-15 23:11 Lyu1997 阅读(2435) 评论(0) 推荐(0)
摘要: 信息量&熵 对于离散的随机变量$x$,在我们观察这个$x$的值的时候,我们接受的信息如何计算? 信息量 信息量表示学习到$x$值时的“惊讶程度”,计算如下: $$ h(x)= \log_2p(x) $$ $p(x)$表示$x$发生的概率,$h(x)$表示信息量,单位为bit。基于传统我们选择以2为底 阅读全文
posted @ 2020-01-15 19:55 Lyu1997 阅读(445) 评论(0) 推荐(0)
摘要: C4.5 对ID3的优化 为了处理ID3中信息增益对(取值较多的属性)的偏向问题,我们加入了一个惩罚项$IV$(Intrinsic Value): $$ IV(a) = \sum_{v=1}^V\frac{|D^v|}{|D|}\log_2\frac{|D^v|}{|D|} $$ | 序号 | 居住 阅读全文
posted @ 2020-01-01 23:23 Lyu1997 阅读(579) 评论(0) 推荐(0)
摘要: 决策树(Decision Tree) 本文学习内容来自西瓜书和机器学习导论。 什么是决策树 目的:产生一棵泛化能力强的决策树。泛化能力强指对非训练集的样本进行预测时仍能保持较高的准确性。 思想:分治(divide and conquer) 算法 $(x_1,y_1)$表示第一个样本,$x_1$为该样 阅读全文
posted @ 2020-01-01 20:58 Lyu1997 阅读(775) 评论(0) 推荐(0)
摘要: 15 3Sum 问题描述 Given an array nums of n integers, are there elements a, b, c in nums such that a + b + c = 0? Find all unique triplets in the array whic 阅读全文
posted @ 2019-12-29 23:26 Lyu1997 阅读(160) 评论(0) 推荐(0)
摘要: 1⃣️ 关于Gen标识符的详细内容。 代与代之间主要是架构,制作工艺(即x nm),针脚和功耗等的区别。 第一代是Westmere架构,32nm; 第二代是SandyBridge架构,32nm; 第三代是IvyBridge架构也属于SandyBridge架构,22nm; 第四代是Haswell架构, 阅读全文
posted @ 2017-06-01 22:08 Lyu1997 阅读(10739) 评论(0) 推荐(1)
摘要: 加密部分 A=imread('~/Desktop/11.jpg'); C=imread('~/Desktop/11.jpg'); C=rgb2gray(C); A=rgb2gray(A); imshow(A); for k=1:50 for x=1:508 for y=1:508 x1=x+y; y 阅读全文
posted @ 2017-03-09 14:23 Lyu1997 阅读(902) 评论(0) 推荐(0)
摘要: 原文地址:http://www.jiamisoft.com/blog/index.php/7249-erzhituxiangjiamisuanfaarnold.html Arnold变换 Arnold变换是V.J.Arnold在遍历理论的研究中提出的一种变换,原意为catmapping,俗称猫脸变换 阅读全文
posted @ 2017-02-24 14:27 Lyu1997 阅读(5909) 评论(0) 推荐(1)
摘要: 原文地址:http://blog.csdn.net/lxdfigo/article/details/8279962 1.MATLAB的基本知识 1-1、基本运算与函数 在MATLAB下进行基本数学运算,只需将运算式直接打入提示号(>>)之後,并按入Enter键即可。例如: >> (5*2+1.3-0 阅读全文
posted @ 2017-02-23 16:04 Lyu1997 阅读(323) 评论(0) 推荐(0)
摘要: 详情见C++ PrimerPlus第十章 省略其他函数,将构造函数和析构函数写出来 Using constructors to creat new objectsConstructor usingNankSmartcalledCompany: NankSmart shares: 12 Share p 阅读全文
posted @ 2016-10-15 17:27 Lyu1997 阅读(325) 评论(0) 推荐(0)