2022年6月27日
摘要: Illustration of the proposed Online Deep Learning framework using Hedge Backpropagation (HBP). 使用对冲反向传播(HBP)提出的在线深度学习框架的示例。 The blue lines represent f 阅读全文
posted @ 2022-06-27 20:35 Real_Yuan 阅读(243) 评论(0) 推荐(0)
摘要: https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=1142&context=etd_coll HBP has the following properties: (i) it identifies a neural network 阅读全文
posted @ 2022-06-27 20:33 Real_Yuan 阅读(61) 评论(0) 推荐(0)
摘要: 1859 年 美国爱国商人 埃德温德雷克 在宾夕法尼亚州第一次钻出了石油 威士忌的桶来装石油 barrel 1桶/159升 石油计量单位 产量 存储量 进出口量 地下挖出的 原油 crude oil 加工后 石油 petroleum 石油运输管道 油井 运输管道 4.5亿桶、年 洛克菲勒石油公司 政 阅读全文
posted @ 2022-06-27 17:03 Real_Yuan 阅读(287) 评论(0) 推荐(0)
摘要: sigmoid函数:sigmoid.m 1 function a = sigmoid(X) 2 for i = 1:size(X,1) 3 for j = 1:size(X,2) 4 a(i,j) = 1/(1+exp(-X(i,j)));%激活函数 5 end 6 end 7 end sigmoi 阅读全文
posted @ 2022-06-27 15:03 Real_Yuan 阅读(204) 评论(0) 推荐(0)
摘要: 梯度下降算法一个极端的版本是把小批量数据的⼤小设为 1。这意味着,给定一个训练输入 ,我们按照以下规则来更新权重和偏置: 然后我们选取另一个训练输入,再次更新我们的权重和偏置。如此重复。这个过程被称为 在线学习(online learning)或 增量学习(incremental learning) 阅读全文
posted @ 2022-06-27 15:00 Real_Yuan 阅读(230) 评论(0) 推荐(0)
摘要: https://www.cainiaojc.com/matlab/matlab-data-types.html 数据类型转换 MATLAB提供了用于将值从一种数据类型转换为另一种数据的各种函数。下表显示了数据类型转换函数- 函数作用 char 转换为字符数组(字符串) int2str 将整数数据转换 阅读全文
posted @ 2022-06-27 14:01 Real_Yuan 阅读(169) 评论(0) 推荐(0)
摘要: 普通最小二乘法 参考 https://zhuanlan.zhihu.com/p/62018131 在批量梯度下降中讨论了,如何利用梯度下降的方式,如何一步一步寻找到损失函数的最小值,得到最佳拟合的 ,这里我们继续讨论线性拟合问题,这次尝试用最小二乘法直接求解 ,就是说我们不用从山顶寻找梯度一步一步的 阅读全文
posted @ 2022-06-27 13:54 Real_Yuan 阅读(291) 评论(0) 推荐(0)
摘要: https://zhuanlan.zhihu.com/p/56185913 正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,用于特征筛选; 正则化可以防止过拟合,提升模型的泛化能力。 假设待优化函数为 ,其中 ,那么优化问题可以转化为求 正则化,即对参数 加上 范数约束 正则化,即对参数 加上 范数 阅读全文
posted @ 2022-06-27 13:44 Real_Yuan 阅读(90) 评论(0) 推荐(0)
摘要: 剪枝剪的好,就像中彩票。 Ref' https://www.zhihu.com/question/347847220/answer/890794195 [6] Frankle, Jonathan, and Michael Carbin. "The lottery ticket hypothesis: 阅读全文
posted @ 2022-06-27 13:31 Real_Yuan 阅读(58) 评论(0) 推荐(0)
摘要: 什么时候用余弦距离什么时候用欧式距离呢? Ref: https://zhuanlan.zhihu.com/p/84643138 总体来说,欧氏距离体现数值上的绝对差异,而余弦距离体现方向上的相对差异。 1)例如,统计两部剧的用户观看行为,用户A的观看向量为(0,1),用户B为(1,0);此时二者的余 阅读全文
posted @ 2022-06-27 13:27 Real_Yuan 阅读(74) 评论(0) 推荐(0)
摘要: 2022-06-27 1. cell2mat Convert the contents of a cell array into a single matrix. C = {[1] [2 3 4]; [5; 9] [6 7 8; 10 11 12]} M = cell2mat(C); 2. num2 阅读全文
posted @ 2022-06-27 13:12 Real_Yuan 阅读(74) 评论(0) 推荐(0)