里列昂遗失的记事本

2021年12月30日

摘要：有效的数据表示你发现以下哪个数字顺序最容易记忆？ 40，27，25，36，81，57，10，73，19，68 50，48，46，44，42，40，38，36，34，32，30，28，26，24，22，20，18，16，14 乍一看，第一个序列似乎应该更容易些，因为它要短得多。但是，如果仔细看第二个阅读全文

posted @ 2021-12-30 21:34 里列昂遗失的记事本阅读(84) 评论(0) 推荐(0)

拟牛顿法（Python实现）

摘要：拟牛顿法（Python实现）使用拟牛顿法（BFGS和DFP），分别使用Armijo准则和Wolfe准则来求步长求解方程 $f(x_1,x_2)=(x_1^2-2)^4+(x_1-2x_2)^2$的极小值 import numpy as np # import tensorflow as tf d 阅读全文

posted @ 2021-12-30 11:55 里列昂遗失的记事本阅读(1765) 评论(0) 推荐(0)

共轭梯度法（Python实现）

摘要：共轭梯度法（Python实现）使用共轭梯度法，分别使用Armijo准则和Wolfe准则来求步长求解方程 $f(x_1,x_2)=(x_1^2-2)^4+(x_1-2x_2)^2$的极小值 import numpy as np # import tensorflow as tf def gfun( 阅读全文

posted @ 2021-12-30 01:55 里列昂遗失的记事本阅读(2302) 评论(0) 推荐(0)

2021年12月29日

最近语言模型的创新

摘要：最新语言模型的创新 2018年被称为”NLP的ImageNet时刻“：进展惊人，越来越大的LSTM和基于Transformer的架构在庞大的数据集上得到了训练 Matthew Peters撰写的ELMo论文介绍了从语言模型来的嵌入（Embeddings from Language Model，ELM 阅读全文

posted @ 2021-12-29 20:53 里列昂遗失的记事本阅读(78) 评论(0) 推荐(0)

注意力机制

摘要：注意力机制这是Dzmitry Bahdanai等人在2014年的突破性论文中的核心思想。他们介绍了一种技术，该技术允许编码器在每个时间步长中专注于适当的单词（由编码器编码）。例如，在编码器需要输出单词'lait'的时间步长上，它会把注意力集中在单词'milk'上。这意味着从输入单词到其翻译的路径变阅读全文

posted @ 2021-12-29 19:55 里列昂遗失的记事本阅读(878) 评论(0) 推荐(0)

2021年12月19日

重用预训练的嵌入

摘要：重用预训练的嵌入 TensorFlow Hub项目可以轻松地在自己的模型中重用经过预训练的模型组件。这些模型组件称为模块。只需要浏览TF Hub储存库，就能找到需要的，然后将代码示例复制到下项目中，该模块将连同其预先训练的权重一起自动下载并包含在模型中： # 在情感分析模型中使用nnlm-en-di 阅读全文

posted @ 2021-12-19 14:42 里列昂遗失的记事本阅读(79) 评论(0) 推荐(0)

2021年12月18日

掩码屏蔽

摘要：掩码屏蔽模型需要学习应该忽略掉填充令牌。可以设置告诉模型去忽略掉填充令牌，以便它可以专注于实际很重要的数据。实际上这很容易：在创建嵌入（Embedding）层时只需添加mask_zero=True。这意味着所有下游层都将忽略填充令牌（其ID为0）这种工作方式是Embedding层创建一个等于K. 阅读全文

posted @ 2021-12-18 19:01 里列昂遗失的记事本阅读(169) 评论(0) 推荐(0)

情感分析

摘要：情感分析如果MNIST是计算机视觉的“hello world”，那么IMDB评论数据集就是自然语言处理的“hello world”：它提取了来自著名的互联网电影数据库的50000条英文电影评论（其中25000条用于训练，25000条用于测试），每条评论的简单二元目标值表明了该评论是负面（0）还是正阅读全文

posted @ 2021-12-18 12:51 里列昂遗失的记事本阅读(365) 评论(0) 推荐(0)

从定位参数到仅限关键字参数

摘要：从定位参数到仅限关键字参数 Python最好的特性之一是提供了极为灵活的参数处理机制，而且Python3进一步提供了仅限关键字参数（keyword-only argument）。与之密切相关的是，调用函数时使用*和**展开可迭代对象，映射到单个参数 # tag函数用于生成HTML标签；使用名为cls 阅读全文

posted @ 2021-12-18 10:44 里列昂遗失的记事本阅读(56) 评论(0) 推荐(0)

函数内省

摘要：函数内省除了__doc__，函数对象还有很多属性。使用dir函数可以探知factorial具有下述属性： def factorial(n): return 1 if n < 2 else n * factorial(n - 1) dir(factorial) ['__annotations__', 阅读全文

posted @ 2021-12-18 10:20 里列昂遗失的记事本阅读(60) 评论(0) 推荐(0)

里列昂遗失的记事本

公告