luckyyaoyao

摘要： RNN 循环神经网络RNN 槽过滤 RNN有记忆的神经网络。 循环神经网络RNN会用内存记录中间值 第一次输入1,1输出4,4 第二次将2,2存入memory，输入1,1；输出12，12 第三次输入2,2，上一轮结束暂存到内存的数字是6,6，输出32,32 a是概率 weight、bias是利用tr 阅读全文

摘要： 第四讲自注意力机制self-attention 输入是一堆向量的案例：文字处理、声音处理、 一.文字处理 将输入词汇变成数组的方法： 1.one hot encoding独热编码 用一个很长的数组，然后不同位置为1表示不同词汇，可能意思或类别相近的东西编码相近 2.词嵌入word embeding 阅读全文