随笔分类 - A---深度学习笔记
摘要：import codecs def read_glove_vecs(glove_file): with open(glove_file, 'r', encoding='utf-8') as f: # 修改这个 words = set() word_to_vec_map = {} for line i
阅读全文
摘要：参考 1. Word Representation 之前介绍用词汇表表示单词，使用one-hot 向量表示词，缺点：它使每个词孤立起来，使得算法对相关词的泛化能力不强。 从上图可以看出相似的单词分布距离较近，从而也证明了Word Embeddings能有效表征单词的关键特征。 2. 词嵌入(word
阅读全文
摘要：Improvise a Jazz Solo with an LSTM Network 实现使用LSTM生成音乐的模型，你可以在结束时听你自己的音乐，接下来你将会学习到： 使用LSTM生成音乐 使用深度学习生成你自己的爵士乐 现在加载库，其中，music21可能不在你的环境内，你需要在命令行中执行pi
阅读全文
摘要：Character level language model - Dinosaurus land 为了构建字符级语言模型来生成新的名称，你的模型将学习不同的名字，并随机生成新的名字。 任务清单： 如何存储文本数据，以便使用RNN进行处理。 如何合成数据，通过采样在每个time step预测，并通过下
阅读全文
摘要：一步步搭建循环神经网络 将在numpy中实现一个循环神经网络 Recurrent Neural Networks (RNN) are very effective for Natural Language Processing and other sequence tasks because the
阅读全文
摘要：参考1 参考2 参考3 1. 为什么选择序列模型 序列模型能够应用在许多领域，例如： 语音识别 音乐发生器 情感分类 DNA序列分析 机器翻译 视频动作识别 命名实体识别 这些序列模型都可以称作使用标签数据(X,Y)作为训练集的监督式学习，输入x和输出y不一定都是序列模型。如果都是序列模型的话，模型
阅读全文
摘要：1. Residual Networks(残差网络) 残差网络 就是为了解决深网络的难以训练的问题的。 In this assignment, you will: Implement the basic building blocks of ResNets. Put together these b
阅读全文
摘要：本次我们将： 学习到一个高级的神经网络的框架，能够运行在包括TensorFlow和CNTK的几个较低级别的框架之上的框架。 看看如何在几个小时内建立一个深入的学习算法。 为什么我们要使用Keras框架呢？Keras是为了使深度学习工程师能够很快地建立和实验不同的模型的框架，正如TensorFlow是
阅读全文
摘要：参考 1. Why look at case studies 介绍几个典型的CNN案例: LeNet-5 AlexNet VGG Residual Network（ResNet）: 特点是可以构建很深的神经网络 Inception Neural Network 2. Classic Networks
阅读全文
摘要：1. TensorFlow model import math import numpy as np import h5py import matplotlib.pyplot as plt import scipy from PIL import Image from scipy import nd
阅读全文
摘要：Convolutional Neural Networks: Step by Step implement convolutional (CONV) and pooling (POOL) layers in numpy, including both forward propagation and
阅读全文
摘要：参考1 参考2 1. 计算机视觉 使用传统神经网络处理机器视觉的一个主要问题是输入层维度很大。例如一张64x64x3的图片，神经网络输入层的维度为12288。 如果图片尺寸较大，例如一张1000x1000x3的图片，神经网络输入层的维度将达到3百万，使得网络权重W非常庞大。 这样会造成两个后果: 一
阅读全文
摘要：参考：https://blog.csdn.net/red_stone1/article/details/78600255https://blog.csdn.net/red_stone1/article/details/78600255 1. error analysis 举个例子，猫类识别问题，已经
阅读全文
摘要：参考：https://blog.csdn.net/red_stone1/article/details/78519599 1. 正交化(Orthogonalization) 机器学习中有许多参数、超参数需要调试。 通过每次只调试一个参数，保持其它参数不变而得到的模型某一性能改变是一种最常用的调参策略
阅读全文
摘要：TensorFlow Tutorial Initialize variables Start your own session Train algorithms Implement a Neural Network 1. Exploring the Tensorflow Library To sta
阅读全文
摘要：摘抄：https://xienaoban.github.io/posts/2106.html 1. 调试(Tuning) 超参数 取值 #学习速率：\(\alpha\) Momentum：\(\beta\) 0.9:相当于10个值中计算平均值；0.999相当于1000个值中计算平均值 Adam：\(
阅读全文
摘要：1. Optimization Methods Gradient descent goes "downhill" on a cost function \(J\). Think of it as trying to do this: **Figure 1** : **Minimizing the c
阅读全文
摘要：笔记：Andrew Ng's Deeping Learning视频 摘抄：https://xienaoban.github.io/posts/58457.html 本章介绍了优化算法，让神经网络运行的更快 1. 梯度优化算法 1.1 Mini-batch 梯度下降 将 \(X = [x^{(1)},
阅读全文
摘要：1. Gradient Checking 你被要求搭建一个Deep Learning model来检测欺诈，每当有人付款，你想知道是否该支付可能是欺诈，例如该用户的账户可能已经被黑客掉。 但是，反向传播实现起来非常有挑战，并且有时有一些bug，因为这是一个mission-critical应用，你公司
阅读全文
摘要：Regularization Deep Learning models have so much flexibility and capacity that overfitting can be a serious problem，if the training dataset is not big
阅读全文
浙公网安备 33010602011771号