SkyRainWind

摘要： BERT 实际上是一个 tranformer encoder，输入一串向量输出相同个数的向量。 以下以句子为例，句子可以认为是一串向量。 pre-train 如何训练 BERT 呢（事实上应该是预训练，pre-train）？一个常用的方法是做填空题。即，随机挖去一些字，让模型学习如何去填空。其中这个 阅读全文

摘要： 这个作业因为是在台大自己的 OJ 上交，因此没法看到评分了，不过把 strong baseline 所要求的的 weight clipping 和 WGAN-GP 都实作了一下，效果确实比一开始要好。。 Simple： 没有人型，不放了 Medium： Strong： （比 medium 的人型还是 阅读全文

摘要： GAN（Generative Adverserial Network），用于生成图片等 直观理解 算法的流程可理解为以下两步： 首先，有两个 network，分别是 generator（G） 和 discriminator（D）。其中 G 能根据参数输出图片， 固定 G，更新 D，使得 D 给 G 阅读全文

摘要： 到目前为止最轻松的作业 大概就是给一些（600个）人说的语音，让你判断测试集中的语音是谁说的 人的语音是一个 sequence，可以用 self-attention + FC 获得类别，这不就是 transformer 的 encoder 嘛！ 代码：https://colab.research.g 阅读全文

摘要： 调参调吐了。。做的最艰难的一次（虽然一共也没做几次） 最好做到了 private 0.82 / public 0.808 这题前前后后做了五天。。主要是后来 train 一次就得花很长很长时间，我的 kaggle 余额也用的差不多了。。 这个题目大概就是给你 11 种食物的图片，让你学习，并分类 题 阅读全文

摘要： 前言 当时老师要求我做 transformer 和 self-attention 的 ppt，结果当时在训练 ACM 没大有时间，就弄了个质量不高的，不出意外的被喷了。。。现在回头看看当时做的整体没有大问题，但是由于知识没有连贯起来导致有些地方没有提到，也没有形成一个比较完整的架构。 Transfo 阅读全文

摘要： 在 slot-filling 问题（如给一个句子，自己分析出时间、地点等） 能解决的问题如给若干个向量，输出相同数量的向量 如果只连着不同的 FC，那么会导致无法读出是 arrive 还是 leave 的情况，导致错误 因此，需要 NN 来考虑到整个句子的信息，也就是需要有 memory，这就是 R 阅读全文

摘要： 解决的问题：输入 \(n\) 个向量，输出相同个数的向量。（如，输入一个句子，输出句子中每个词的词性。每个单词转化成向量可以用 one-hot vector、word embedding 方法等） 一个比较初级的想法：将每个向量都连上去一个 FC（fully connected network），但 阅读全文

摘要： 目前做的最好的是 private 0.758 / public 0.756 感觉 HW 2 就是随便调调参 + 网络结构改成 BN + Dropout 啊 代码：https://colab.research.google.com/drive/19uQsG-kjgMZsw1wSIkZz-M8JSLIx 阅读全文

摘要： 调参调吐了。目前做的最好的是 private 1.09 / public 1.04 代码：https://colab.research.google.com/drive/1Rhne-XV8P6u_qSAjKsKA0NyAmbzQWbll?usp=sharing 分析 对代码的一些理解： 这里是构建神 阅读全文