摘要: [TOC] SAC过程 (split apply combine):其中split指基于某一些规则,将数据拆成若干组,apply是指对每一组独立地使用函数,combine指将每一组的结果组合成某一类数据结构。 apply过程 :往往会遇到四类问题: 整合(Aggregation)——即分组计算统计量 阅读全文
posted @ 2020-04-26 23:31 kaifeng_guan 阅读(520) 评论(0) 推荐(0) 编辑
摘要: [TOC] 上篇文章介绍了Pandas的基础操作,包括文件读写、Series和DataFrame数据结构、一些常用基本函数、数据排序等。 今天我们来学习一下Pandas的索引。 (超详细!一文搞定!) Pandas单级索引 1. loc、iloc、[]操作符 这三类最常用的索引方法,其中iloc表示 阅读全文
posted @ 2020-04-23 23:19 kaifeng_guan 阅读(1017) 评论(0) 推荐(0) 编辑
摘要: [TOC] 1 Pandas文件读取和写入 1.1 文件读取(csv、txt、xls/xlsx) 1.2 文件写入(csv、xls/xlsx) 2 Pandas基本数据结构(Series、Dataframe) 2.1 Series (1)创建Series 官方文档上定义Series是轴标签为索引的一 阅读全文
posted @ 2020-04-20 10:31 kaifeng_guan 阅读(884) 评论(0) 推荐(0) 编辑
摘要: 1 卷积神经网络基础 1.1 二维卷积层 1.1.1 二维互相关运算 二维互相关(cross correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积核的尺寸通常小于输入数组,卷积核在输入数组上 阅读全文
posted @ 2020-02-19 17:20 kaifeng_guan 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 1 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是 消失(vanishing) 和 爆炸(explosion) 。 当神经网络的层数较多时,模型的数值稳定性容易变差。 假设一个层数为$L$的多层感知机的第$l$层$\boldsymbol{H}^{(l)}$的权重参数为$\boldsymbol 阅读全文
posted @ 2020-02-19 17:16 kaifeng_guan 阅读(383) 评论(0) 推荐(0) 编辑
摘要: 1 训练误差和泛化误差 训练误差(training error) :模型在训练数据集上表现出的误差。 泛化误差(generalization error) :模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如 阅读全文
posted @ 2020-02-19 17:13 kaifeng_guan 阅读(1453) 评论(0) 推荐(0) 编辑
摘要: [TOC] 下图展示了如何基于循环神经网络实现语言模型。基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$,用$H_{t}$表示$H$在时间步$t$的值。$H_{t}$的计算基于$X_{t}$和$H_{t 1}$,可以认为$H_{t}$记录了到当前字符为止的序列 阅读全文
posted @ 2020-02-14 21:19 kaifeng_guan 阅读(695) 评论(0) 推荐(0) 编辑
摘要: [TOC] 一段自然语言文本可以看作是一个离散时间序列,给定一个长度为$T$的词的序列$w_1, w_2, \ldots, w_T$,语言模型的目标就是评估该序列是否合理,即计算该序列的概率: $$ P(w_1, w_2, \ldots, w_T). $$ 1. 语言模型 假设序列$w_1, w_2 阅读全文
posted @ 2020-02-14 20:46 kaifeng_guan 阅读(830) 评论(0) 推荐(1) 编辑
摘要: [TOC] 文本预处理 文本是一类序列数据,一篇文章可以看作是字符或单词的序列,下面介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 1. 读入文本 2. 分词 3. 建立字典,将每个词映射到一个唯一的索引(index) 4. 将文本从词的序列转换为索引的序列,方便输入模型 step1:读入文 阅读全文
posted @ 2020-02-14 19:22 kaifeng_guan 阅读(434) 评论(0) 推荐(0) 编辑
摘要: [TOC] 多层感知机的基本知识 深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。 隐藏层 下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。 表达公式 具体来说,给定一个小批量样本$ 阅读全文
posted @ 2020-02-14 19:06 kaifeng_guan 阅读(610) 评论(0) 推荐(0) 编辑