ricky_lin

摘要： Larger and Larger models More and More data(15 trillion) 只是一个让损失函数最小化的模型，它的智能从哪里来？ 优化下一个次元的损失的时候同时在形成 agents、beliefs、actions 的模型 Findings zero-shot le 阅读全文

摘要： What is NLG? NLP = NLU(understanding)+NLG(generration) aim: fluent、coherent、useful examples: Machine Translation Digital assistant Summarization syste 阅读全文

摘要： Notes Subword modeling Word structure & subword models 并不是所有的输入都会出现在我们的训练集中，这个时候我们就有许多次没有对应的 embeddings 之前会用 [UNK] 替代，但这会导致许多信息的丢失 The byte-pair encod 阅读全文

摘要： Notes Issues Linear interaction diatance 相邻的词很容易影响歌歌词的意义，但是也有距离很长的依赖关系 但是学习这些词的依赖关系是困难的 Lack of parallelizability CPU 可以勇士进行多个计算，但是 RNN 只能按顺序进行计算 If n 阅读全文

摘要： Notes 1. 评估模型的新方式 让模型评估所有测试文本的概率，结果越高，能力越强 困惑度（perplexity）：\(\sqrt[n]{\prod \frac 1 {\text{模型预测的概率}}}\) 困惑度是交叉熵的指数，也可以理解为平均每次 AI 会有多少选择 RNN greatly im 阅读全文

摘要： Notes How to evaluate machine translation BLUE measure 给出多个参考译文，求机器翻译的相似度（在机器翻译中找参考翻译的 1、2、3、4 元词组），以及对于太短的翻译的惩罚 缺点：翻译没有固定答案 humanbeings lokking at th 阅读全文

摘要： Notes 1. history 上一次流行 1980s & 1990s(backpropagation alorithm) allowed training neural nets with hidden layers 只有一层 2006 Greedy Layer-Wise Training of 阅读全文

摘要： 为什么北半球日食更多 为什么只有全食是太阳会变白 月球轨道有 \(5^\circ\) 倾斜，每半个月会落入太阳地球平面，每年有 2 个食季，每次 34 天 为什么偏食黄色，全食白色？ 会出现影带 在日食最后几秒，多个点光源会出现多个阴影，交叉阴影成为影带 阅读全文

摘要： Notes: 1. the linguistic structure of sentences & ambiguity 句子结构是一个树状结构（verb 作为根） Sicentists count whales from space 2 种理解形式： from space 修饰 whales 所以是 阅读全文

摘要： 一道概率题 tag: 期望 每个木板都有长度 \(l_i\)，小球每次弹到 \(i\) 号模板的概率为 \(\frac {l_i}{\sum_{i=1}^n l_i}\)，求连续在同一个木板上跳 \(3\) 次的次数期望 我们设 \(f_{i,j}\) 表示当前最后跳到了 \(i\) 号木板，连续弹 阅读全文