吱吱了了 - 博客园

序列模型（1）----简单介绍

摘要：一、为什么选择序列模型（1）序列模型广泛应用于语音识别【多对多】，音乐生成【一对多】，情感分析【多对一】，DNA序列分析，机器翻译【多对多，个数不同】，视频行为识别，命名实体识别等众多领域。（2）上面那些问题可以看成使用（x，y）作为训练集的监督学习，但是输入与输出的对应关系有非常多的组合，比如阅读全文

posted @ 2018-12-04 14:36 吱吱了了阅读(560) 评论(0) 推荐(0)

梯度消失、爆炸原因及其解决方法

摘要：一、梯度不稳定问题：什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。二、梯度消失（vanishing gradient proble 阅读全文

posted @ 2018-12-04 14:29 吱吱了了阅读(2964) 评论(0) 推荐(0)

算法66------计算各个位数不同的数字个数【动态规划】

摘要：一、题目：计算各个位数不同的数字个数给定一个非负整数 n，计算各位数字都不同的数字 x 的个数，其中 0 ≤ x < 10n 。示例: 思路：动态规划 dp[i]表示 i 位数范围内【0，10^i】各位数字都不同的数字 x 的个数。当 n = 1 时, 只有 0 符合条件, 当 n = 10 阅读全文

posted @ 2018-12-03 12:05 吱吱了了阅读(782) 评论(0) 推荐(0)

TensorFlow实战学习笔记（14）------VGGNet

摘要：一、VGGNet：5段卷积【每段有2~3个卷积层+最大池化层】【每段过滤器个数：64-128-256-512-512】每段的2~3个卷积层串联在一起的作用： 2个3×3的卷积层串联的效果相当于一个5×5的卷积层，即一个像素会跟周围5×5的像素产生关联。【28*28的输入经过一次5*5得到24*24 阅读全文

posted @ 2018-12-02 18:20 吱吱了了阅读(369) 评论(0) 推荐(0)

TensorFlow技术解析与实战学习笔记（13）------Mnist识别和卷积神经网络AlexNet

摘要：一、AlexNet：共8层：5个卷积层（卷积+池化）、3个全连接层，输出到softmax层，产生分类。论文中lrn层推荐的参数：depth_radius = 4，bias = 1.0 , alpha = 0.001 / 9.0 , beta = 0.75 lrn现在仅在AlexNet中使用，主要是阅读全文

posted @ 2018-12-02 15:07 吱吱了了阅读(389) 评论(0) 推荐(0)

TensorFlow+实战Google深度学习框架学习笔记（12）------Mnist识别和卷积神经网络LeNet

摘要：一、卷积神经网络的简述卷积神经网络将一个图像变窄变长。原本【长和宽较大，高较小】变成【长和宽较小，高增加】卷积过程需要用到卷积核【二维的滑动窗口】【过滤器】，每个卷积核由n*m（长*宽）个小格组成，每个小格都有自己的权重值，长宽变窄：过滤器的长宽决定的高度变高：过滤器的个数决定的输入：55 阅读全文

posted @ 2018-12-01 16:50 吱吱了了阅读(562) 评论(0) 推荐(0)

TensorFlow+实战Google深度学习框架学习笔记（11）-----Mnist识别【采用滑动平均，双层神经网络】

摘要：模型：双层神经网络【一层隐藏层、一层输出层】隐藏层输出用relu函数，输出层输出用softmax函数过程： x，y的占位，w1,b1，w2,b2的初始化前向传播【y = w * x +b，w和b采用滑动平均更新】后向传播【计算loss（包括交叉熵和正则化loss），采用GD更新参数（学习率使阅读全文

posted @ 2018-11-28 21:31 吱吱了了阅读(294) 评论(1) 推荐(0)

TensorFlow+实战Google深度学习框架学习笔记（10）-----神经网络几种优化方法

摘要：神经网络的优化方法： 1、学习率的设置（指数衰减） 2、过拟合问题（Dropout） 3、滑动平均模型（参数更新，使模型在测试数据上更鲁棒） 4、批标准化（解决网络层数加深而产生的问题如梯度弥散，爆炸等）一、学习率的设置指数衰减方法通过指数衰减的方法设置GD的学习率。该方法可让模型在训练的前阅读全文

posted @ 2018-11-27 21:43 吱吱了了阅读(963) 评论(0) 推荐(0)

算法65----字符串

摘要：题目：（1）回文字符串添加最少字符使字符串整体都是回文字符串回文最少分割数最长回文子串判断字符串本身是字符串或者删除一个字符后成为回文串删除字符使字符串整体是回文串，最少多少种方案（2）括号字符串括号字符串的有效性和最长有效长度有效的括号字符串（1）（2）（3）【三种题型】括号最阅读全文

posted @ 2018-11-27 14:25 吱吱了了阅读(856) 评论(0) 推荐(0)

莫烦大大TensorFlow学习笔记（9）----可视化

摘要：一、Matplotlib【结果可视化】 #import os #os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #添阅读全文

posted @ 2018-11-26 21:10 吱吱了了阅读(700) 评论(0) 推荐(0)