06 2020 档案

【实作】RNN-文本情感分类
摘要：文本情感分类 实验笔记 本实验为台大李宏毅老师机器学习2020年的HW4【实验说明】【官方实现代码参考】【实现代码】 数据介绍 本次实验数据为twitter上的推文，每个推文会被标注为正面或负面。其中 0 --> 负面，1 --> 正面 实验数据共包括， Labeled training data: 阅读全文
posted @ 2020-06-29 15:31 YeZzz 阅读(862) 评论(5) 推荐(0)
Question
摘要：Adam optimizer.zero_grad() HMM nlp中CTC损失函数 word2vec怎么判断word embedding的好坏 word embedding时加入 PAD 和 UNK gt.gif in.gif pred.gif 阅读全文
posted @ 2020-06-27 16:58 YeZzz 阅读(205) 评论(0) 推荐(0)
【NLP】Transformer
摘要：Transformer seq2seq model with “self-attention” 知名代表--bert 一般处理seq2seq容易想到RNN，但RNN的问题是不容易被平行化。于是有人提出用CNN。 如下右图所示，每个黄色三角代表一个filter，每次考虑3个词，从左往右依次遍历就可以从 阅读全文
posted @ 2020-06-27 16:10 YeZzz 阅读(275) 评论(0) 推荐(0)
【NLP】Word Embedding（word2vec、glove）
摘要：Word Embedding学习笔记 在NLP中，对文本的表示方法： bag-of-words：基于one-hot、tf-idf、textrank等 主题模型：LSA（SVD）、pLSA、LDA； 基于词向量的固定表征：word2vec、fastText、GloVe； 基于词向量的动态表征：elmo 阅读全文
posted @ 2020-06-18 18:25 YeZzz 阅读(884) 评论(0) 推荐(0)
【Docker】笔记
摘要：搜索镜像 docker search xxx 拉镜像 docker pull xxx xxx处直接指定镜像名就可以，默认会下latest 如果有更多需求，可如下： docker pull daocloud.io/daocloud/tensorflow:latest 删镜像 docker rmi im 阅读全文
posted @ 2020-06-12 10:04 YeZzz 阅读(156) 评论(0) 推荐(0)
【实作】CNN-food11
摘要：Food-11 实验笔记 数据介绍 食物类别： Bread, Dairy product, Dessert, Egg, Fried food, Meat, Noodles/Pasta, Rice, Seafood, Soup, and Vegetable/Fruit.面包，乳制品，甜点，鸡蛋，油炸食 阅读全文
posted @ 2020-06-11 17:29 YeZzz 阅读(2035) 评论(3) 推荐(0)
【机器学习】Dropout
摘要：Dropout 随机失活 dropout前 dropout后 Training时，加在每次update参数前。貌似一般多用在FC层，CNN层也可以用，不过也不是必须的。因为FC参数多。 网上查的说，一般都是在FC层用dropout。一般不用于卷积层，因为在卷积层中图像相邻像素共享很多相同信息，如某些 阅读全文
posted @ 2020-06-11 14:13 YeZzz 阅读(695) 评论(0) 推荐(0)
【机器学习】优化器optimizer
摘要：优化器 目前优化器主要分为两个方向： 1. The accelerated SGD: SGD momemtum 2. The adaptive learning rate methods: Adam SGDM：收敛慢，更好的精度，比较稳定，train和val的差距比较小 Adam：收敛快，可能不收敛 阅读全文
posted @ 2020-06-08 22:19 YeZzz 阅读(975) 评论(0) 推荐(0)
【机器学习】BatchNormalization
摘要：参考博客：https://www.cnblogs.com/guoyaohua/p/8724433.html BN好处： 1）防止梯度消失，提升训练速度，收敛过程更快。因为把输入分布拉到了例如sigmoid中间区域 2）增加分类效果，类似于dropout的一种防止过拟合的正则化表达方式，不用dropo 阅读全文
posted @ 2020-06-03 18:46 YeZzz 阅读(198) 评论(0) 推荐(0)