摘要:目录 前言 CBOW模型与Skip-gram模型 基于Hierarchical Softmax框架的CBOW模型 基于Negative Sampling框架的CBOW模型 负采样算法 结巴分词 word2vec 前言 word2vec当前主流实现有4种:基于Negative Sampling框架和基 阅读全文
posted @ 2018-01-05 13:39 赵翌臣 阅读 (2685) 评论 (0) 编辑
摘要:目录 推荐模型的分类 ALS交替最小二乘算法:显式矩阵分解 Spark Python代码:显式矩阵分解 ALS交替最小二乘算法:隐式矩阵分解 Spark Python代码:隐式矩阵分解 推荐模型的分类 最为流行的两种方法是基于内容的过滤、协同过滤。 基于内容的过滤: 比如用户A买了商品A,商品B与商 阅读全文
posted @ 2017-12-20 17:04 赵翌臣 阅读 (589) 评论 (0) 编辑
摘要:目录 使用非对称卷积分解大filters 重新设计pooling层 辅助构造器 使用标签平滑 参考资料 在《深度学习面试题20:GoogLeNet(Inception V1)》和《深度学习面试题26:GoogLeNet(Inception V2)》中对前两个Inception版本做了介绍,下面主要阐 阅读全文
posted @ 2019-07-28 14:46 赵翌臣 阅读 (72) 评论 (0) 编辑
摘要:目录 产生背景 工作原理 参考资料 产生背景 假设选用softmax交叉熵训练一个三分类模型,某样本经过网络最后一层的输出为向量x=(1.0, 5.0, 4.0),对x进行softmax转换输出为: 假设该样本y=[0, 1, 0],那损失loss: 按softmax交叉熵优化时,针对这个样本而言, 阅读全文
posted @ 2019-07-27 11:48 赵翌臣 阅读 (294) 评论 (0) 编辑
摘要:目录 产生背景 举例 参考资料 产生背景 之前在深度学习面试题16:小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势: ①整合了三个非线性激活层,代替单一非线性激活层,增加了判别能力。 ②减少了网络参数。 ③减少了计算量 在《Rethinking the Inception Archite 阅读全文
posted @ 2019-07-26 18:13 赵翌臣 阅读 (62) 评论 (0) 编辑
摘要:目录 第一层卷积换为分离卷积 一些层的卷积核的个数发生了变化 多个小卷积核代替大卷积核 一些最大值池化换为了平均值池化 完整代码 参考资料 第一层卷积换为分离卷积 返回目录 一些层的卷积核的个数发生了变化 返回目录 多个小卷积核代替大卷积核 返回目录 一些最大值池化换为了平均值池化 返回目录 完整代 阅读全文
posted @ 2019-07-26 17:03 赵翌臣 阅读 (53) 评论 (0) 编辑
摘要:目录 举例 单个张量与多个卷积核的分离卷积 参考资料 举例 分离卷积就是先在深度上分别卷积,然后再进行卷积,对应代码为: import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf. 阅读全文
posted @ 2019-07-26 15:51 赵翌臣 阅读 (47) 评论 (0) 编辑
摘要:目录 举例 单个张量与多个卷积核在深度上分别卷积 参考资料 举例 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为: depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积,然后求和,depthwise_conv2d没有求和这一步,对应代码为: 阅读全文
posted @ 2019-07-26 14:59 赵翌臣 阅读 (61) 评论 (0) 编辑
摘要:目录 直接定义的缺点 简易定义的方式 参考资料 直接定义的缺点 在tensorflow中假设有一批输入为: 其定义如下: tf.constant([ [ [ [3, 1, -3], [1, -1, 7] ], [ [-2, 2, -5], [2, 7, 3] ] ], [ [ [-1, 3, 1], 阅读全文
posted @ 2019-07-26 14:17 赵翌臣 阅读 (69) 评论 (0) 编辑
摘要:目录 指数移动平均 BN在卷积网络中的使用 参考资料 假设已经训练好一个带有BN操作的卷积神经网络,但是在使用它预测时,往往每次只输入一个样本,那么经过该网络时,计算平均值和方差的意义就不大了,常采用的策略是计算训练阶段的平均值和方差的指数移动平均,然后在预测阶段使用它们作为BN操作时的平均值和方差 阅读全文
posted @ 2019-07-25 11:25 赵翌臣 阅读 (89) 评论 (0) 编辑
摘要:目录 BN的由来 BN的作用 BN的操作阶段 BN的操作流程 BN可以防止梯度消失吗 为什么归一化后还要放缩和平移 BN在GoogLeNet中的应用 参考资料 BN的由来 BN是由Google于2015年提出,论文是《Batch Normalization_ Accelerating Deep Ne 阅读全文
posted @ 2019-07-24 22:13 赵翌臣 阅读 (185) 评论 (0) 编辑
摘要:目录 简介 网络结构 对应代码 网络说明 参考资料 简介 2014年,GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了第一名、VGG获得了第二名,这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构,而 阅读全文
posted @ 2019-07-23 10:51 赵翌臣 阅读 (101) 评论 (0) 编辑