cltt - 博客园

Recurrent neural network(RNN) 循环神经网络（下）

摘要：有了这个loss function以后，对于training，也是用梯度下降来做。也就是说我们现在定义出了loss function(L)，我要update这个neural network里面的某个参数w，就是计算对w的偏微分，偏微分计算出来以后，就用GD的方法去update里面的参数。在讲fee 阅读全文

posted @ 2020-03-02 14:44 cltt 阅读(597) 评论(0) 推荐(0)

Recurrent neural network(RNN) 循环神经网络 (上)

摘要：应用举例我们假设订票系统听到用户说：“ I would like to arrive Taipei on November 2nd”，你的系统有一些slot(有一个slot叫做Destination，一个slot叫做time of arrival)，系统要自动知道这边的每一个词汇是属于哪一个slo 阅读全文

posted @ 2020-02-29 22:05 cltt 阅读(326) 评论(0) 推荐(0)

Explainable ML

摘要：定义：不仅可以（分类），还要输出分类的理由是什么（局部），以及某一个分类的判断标准（全局）局部： silence map. 把{x1.....xn}中每一个像素加一个偏移量之后，得到的y偏移量与x偏移相除，类似于微分的结果，表示成一张图片。可以看到图片上对与判断结果来说重要的部分。全局：对某阅读全文

posted @ 2020-02-28 15:36 cltt 阅读(284) 评论(0) 推荐(0)

Fizz Buzz in tensorflow

摘要： code from keras.layers.normalization import BatchNormalization from keras.models import Sequential from keras.layers.core import Dense,Dropout,Activat 阅读全文

posted @ 2020-02-28 14:48 cltt 阅读(240) 评论(0) 推荐(0)

Tips for traing DNN (Adam,正则化,Dropout)

摘要： 1。一般的机器学习方法不会在train好的模型上检查training data的结果，因为DNN在training data上都没有办法获得很好的正确率，所以要先回头看一下要对模型做什么修改，才能使得在training set上取得比较好的正确率。 2。在training set获得好的结果，阅读全文

posted @ 2020-02-28 13:22 cltt 阅读(589) 评论(0) 推荐(0)

深度学习高数知识

摘要：函数连续的充要条件函数f(x)在x0连续,当且仅当f(x)满足以下三个条件:1)f(x)在x0及其左右近旁有定义2)f(x)在x0的极限存在3)f(x)在x0的极限值与函数值f(x0)相等高数函数可导充分必要条件 ①左右导数存在且相等是可导的充分必要条件。 ②可导必定连续。 ③连续不一定可导阅读全文

posted @ 2020-02-27 18:44 cltt 阅读(431) 评论(0) 推荐(0)

Attack ML Models

摘要： Attack Training的Loss:固定x,修改θ,使y0接近ytrue. Non-targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue. Targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue且接近yfalse. 4个pixel,(RGB每个阅读全文

posted @ 2020-02-26 10:53 cltt 阅读(288) 评论(0) 推荐(0)

win10 python3.7 Anaconda3 安装tensorflow+Keras

摘要：首先tensorflow 不支持python3.7,只能用tf1.9 也就是说：py3.7+ tf 1.9 +keras 2.2.0 才可以 https://docs.floydhub.com/guides/environments/这个链接可以查询不同版本应该下载那个到Tensorflow支持P 阅读全文

posted @ 2020-02-25 14:10 cltt 阅读(2459) 评论(0) 推荐(0)

Keras

摘要：分3步进行 Mini_batch 为什么要Mini_batch 166s 放到size=10,其实相当于10 epoch（也就是说也会50000updates） batch_size大的时候，用了平行运算(算10个examples 时间和1 example时间差不多)所以更快但是不能设置的太大，会卡阅读全文

posted @ 2020-02-23 19:24 cltt 阅读(475) 评论(0) 推荐(0)

Convolutional neural network (卷积神经网络)

摘要：我们都知道CNN常常被用在影像处理上，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类，那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长很长的vector。ou 阅读全文

posted @ 2020-02-22 19:26 cltt 阅读(1057) 评论(0) 推荐(0)