Ric's Blog

摘要： 命令行风格 pytorch官方给的用LeNet训练MNIST例子，适合命令行下操作。 交互式的 阅读全文

摘要： argparse 模块可以轻松编写用户友好的命令行接口。程序定义它需要的参数，然后 argparse 将弄清如何从 sys.argv 解析出那些参数。 argparse 模块还会自动生成帮助和使用手册，并在用户给程序传入无效参数时报出错误信息。 argparse简单使用流程 主要有三个步骤： 创建 阅读全文

摘要： 记录一些常见的概念。 (香侬)熵 Information entropy is the average rate at which information is produced by a stochastic source of data. $$H[x]= \sum_{x} p(x) \log _ 阅读全文

摘要： 整理一下要读的已读的书籍论文，加粗为还没有读的 神经网络通用理论 优化方法，正则化，训练技巧等 Understanding the difficulty of training deep feedforward neural networks (AISTATS 2010) Dropout: A Si 阅读全文

摘要： 一维正态分布 常用英文： univariate Gaussian , normal distribution , Gaussian distribution 等 定义 如果一个随机变量的概率密度函数为： $$ {\displaystyle f(x;\mu, \sigma ^ 2)={1 \over 阅读全文

摘要： one hot表示 主要问题 无法准确表达不同词之间的相似度，没有任何语义信息 以下内容主要摘抄自 来斯惟的博士论文 "基于神经网络的词和文档语义向量表示方法研究" "CS224n的notes" [Yoav Goldberg的word2vec Explained: Deriving Mikolov 阅读全文

摘要： 常见损失函数记录，主要是自己记一下公式，没啥讲解 均方误差，绝对值损失，0 1损失 最简单的几种，没啥好说的 $$ L(Y, f(X))=(Y f(X))^{2} \\ L(Y, f(X))=\left\{\begin{array}{ll}{1,} & {Y \neq f(X)} \\ {0,} & 阅读全文

摘要： 做个记录，好找资料和阅读。 通用机器学习与深度学习基础 1. The Elements of Statistical Learning(ESL)， "网络资源" ， "豆瓣" 2. Pattern Recognition and Machine Learning(PRML)， "网络资源" ， "豆 阅读全文

摘要： 主要是个人备忘录，很不完整和规范。 基本都省略了偏置。 简单RNN 数学公式 $$ h_{t}=g(W^{(h)}h_{t 1}+W^{(x)}x_t) \\ y_{t}=f(Vh_t) $$ 简单解释就是，对于每个位置，输入保存的上一个状态 $h_{t 1}$和输入$x_t$，然后输出新的状态$h 阅读全文

摘要： 语言模型（language model）是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为$T$的文本中的词依次为 $w_1, w_2, \ldots, w_T$。 定义 对于一段自然语言序列，语言模型就是计算他的概率： 阅读全文