2021 年 8月随笔档案 - foghorn

机器学习常用损失函数

摘要：机器学习三要素——模型、学习准则、优化算法。其中学习准则可以简单理解为损失函数，优化算法就是用来优化损失函数的。根据任务不同，损失函数可以分为回归损失函数和分类损失函数，每种类别的损失函数有很多种，不同的损失函数的形式以及出发点都不同，在实际应用中，根据任务的需要，选取合适的损失函数是非常关键的，它阅读全文

posted @ 2021-08-30 19:42 foghorn 阅读(575) 评论(0) 推荐(0) |

二叉树遍历——递归、非递归版

摘要：前序遍历 1 /* 前序遍历递归版 */ 2 void PreOrderRec(Node * node) 3 { 4 if (node == nullptr) 5 return; 6 cout << node->data << " "; // 先输出当前结点 7 PreOrderRec(node-> 阅读全文

posted @ 2021-08-29 10:20 foghorn 阅读(42) 评论(0) 推荐(0) |

Logistic回归

摘要：导读逻辑回归（LR）是一种分类模型，一般用于解决二分类问题，当然也可以扩展到多分类问题上。为什么要引入逻辑回归来解决分类问题呢？因为线性模型如果用于分类问题会有很大的问题。如上图所示，对于左边一幅图，我们用线性模型去拟合，并规定超过阈值0.5的为一类，小于0.5的为另一类，可以很好地将两类区分开阅读全文

posted @ 2021-08-27 15:51 foghorn 阅读(162) 评论(0) 推荐(0) |

二分类如何推广到多分类问题

摘要：#0 导读现实中会遇到多分类任务。虽然我们可以用神经网络直接建模多分类问题，但在机器学习的早期，一般模型只能解决二分类问题，因此有必要了解如何将二分类问题推广到多分类问题。 #1 思路考虑$N$个类别$C_{1},C_{2},...C_{N}$，多分类学习的基本思路是“拆解法”，即将多分类任务拆阅读全文

posted @ 2021-08-25 15:41 foghorn 阅读(1075) 评论(0) 推荐(0) |

论文复现——AutoRec: Autoencoders Meet Collaborative Filtering

摘要：《AutoRec: Autoencoders Meet Collaborative Filtering》是2015年Suvash等人发表在“The Web Conference”会议上的一篇论文，作者提出用自编码器预测用户对电影的评分。论文比较短，只有两页，可以说是深度学习在推荐系统领域应用的开端。阅读全文

posted @ 2021-08-16 21:18 foghorn 阅读(277) 评论(0) 推荐(0) |

Pytorch中Tensor和tensor的区别

摘要：默认数据类型在Pytorch中默认的全局数据类型是float32，用torch.Tensor创建的张量数据类型就是float32 参数 Tensor()如果值传递一个整数，则会生成一个随机的张量： import torch torch.Tensor(1) 输出：tensor([一个随机值]) 如果阅读全文

posted @ 2021-08-16 21:17 foghorn 阅读(405) 评论(0) 推荐(0) |

线性回归——pytorch实现

摘要：1 import torch 2 import matplotlib.pyplot as plt 3 import os 4 os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' 5 6 lr = 0.001 7 see = 20000 8 x = torch.ra 阅读全文

posted @ 2021-08-16 21:16 foghorn 阅读(65) 评论(0) 推荐(0) |

梯度爆炸与梯度消失

摘要：#0 概述在神经网络模型中，如果网络的层数很多，则可能会出现梯度爆炸或者梯度消失问题。顾名思义，梯度爆炸意思是梯度太大了，可能会超出计算机可表示的数值范围；梯度消失意思是梯度太小了。 #1 梯度爆炸 ##1.1 梯度爆炸的成因以多层感知机为例，第t层的输出为： \(f_{t}(h^{t-1})= 阅读全文

posted @ 2021-08-16 21:09 foghorn 阅读(378) 评论(0) 推荐(0) |

ip地址与整数互换

摘要：题目描述（1）ip地址转换为十进制整数例如，ip地址10.0.3.193，可以分成四段，每段分别是00001010 00000000 00000011 01100001，将这四段拼接成一个32位的整数变成167773121 （2）整数转为ip地址将167773121还原成10.0.3.193 阅读全文

posted @ 2021-08-16 12:18 foghorn 阅读(498) 评论(0) 推荐(0) |

卷积神经网络若干概念理解

摘要：#1 卷积核卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义（或自定义），这个函数称为卷积核。如下图中间部分所示。 #2 特征图经过卷积核运算之后的图成为特征图 #3 感受野感受野的定义是，对于某层输出特征图上的某个点阅读全文

posted @ 2021-08-15 17:23 foghorn 阅读(115) 评论(0) 推荐(0) |

FM（因子分解机）原理与实战

摘要：#0 概述因子分解机（Factorization Machine，FM）于2010年被首次提出，其目的是解决数据稀疏问题以及特征组合爆炸问题，是曾经火爆学术界的推荐模型，虽然近几年基于深度学习的推荐算法是众多学者的研究热点，但因FM实现简单，效果强大，其思想仍值得我们深入研究。此外FM与深度学习技阅读全文

posted @ 2021-08-09 21:07 foghorn 阅读(1419) 评论(0) 推荐(0) |

dropout正则化

摘要：#0 dropout 当训练一个深度神经网络时，我们可以随机丢弃一部分神经元及其对应的连边来避免过拟合，这种方法称为丢弃法（Dropout Method）。其示意图如下：实际上我们并不改变网络结构，而是以一定的概率将网络的隐藏层输出值变成0。在对某个隐藏层进行dropout时，开辟一个新的矩阵ma 阅读全文

posted @ 2021-08-01 20:31 foghorn 阅读(203) 评论(0) 推荐(0) |

foghorn

公告

08 2021 档案