乐乐章

摘要： The encoders are all identical in structure (yet they do not share weights). Each one is broken down into two sub-layers: https://kexue.fm/archives/47 阅读全文

摘要： 模板方法模式：定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。模板方法使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。 角色： （1）AbstractClass：是抽象类，其实也就是一个抽象模板，定义并实现了一个模板方法。这个模板方法一般是一个具体方法，它给出了一个顶级逻辑的框 阅读全文

摘要： 意图：用原型实例指定创建对象的种类，并且通过拷贝这些原型创建新的对象。 主要解决：在运行期建立和删除原型。 何时使用： 1、当一个系统应该独立于它的产品创建，构成和表示时。 2、当要实例化的类是在运行时刻指定时，例如，通过动态装载。 如何解决：利用已有的一个原型对象，快速地生成和原型对象一样的实例。 阅读全文

摘要： 模型结构 code :https://github.com/YichenGong/Densely-Interactive-Inference-Network 首先是模型图： Embedding Layer 词嵌入+字嵌入+syntactical features （句法特征） 拼接。 词嵌入:glo 阅读全文

摘要： 工厂模式 工厂模式（Factory Pattern）是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。 在工厂模式中，我们在创建对象时不会对客户端暴露创建逻辑，并且是通过使用一个共同的接口来指向新创建的对象。 介绍 意图：定义一个创建对象的接口， 阅读全文

摘要： 模型结构 首先是模型图： 传统的注意力机制无法保存多层原始的特征，根据DenseNet的启发，作者将循环网络的隐层的输出与最后一层连接。 另外加入注意力机制，代替原来的卷积。由于最后的特征维度过大，加入AE降维。 Word Representation Layer 层 自然语言的任务首先就是输入层， 阅读全文

摘要： 代理模式 在代理模式（Proxy Pattern）中，一个类代表另一个类的功能。这种类型的设计模式属于结构型模式。 在代理模式中，我们创建具有现有对象的对象，以便向外界提供功能接口。 介绍 意图：为其他对象提供一种代理以控制对这个对象的访问。 主要解决：在直接访问对象时带来的问题，比如说：要访问的对 阅读全文

摘要： 背景 在seq2seq中，一般是有一个encoder 一个decoder ，一般是rnn/cnn 但是rnn 计算缓慢，所以提出了纯用注意力机制来实现编码解码。 模型结构 大部分神经序列转导模型都有一个编码器-解码器结构。这里，编码器映射一个用符号表示的输入序列(x1,...,xn) 到一个连续的表 阅读全文

摘要： Background and Motivation: 现有的处理文本的常规流程第一步就是：Word embedding。也有一些 embedding 的方法是考虑了 phrase 和 sentences 的。这些方法大致可以分为两种： universal sentence（general 的句子）和 阅读全文

摘要： 一、UML图 介绍 装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其结构。这种类型的设计模式属于结构型模式，它是作为现有的类的一个包装。 这种模式创建了一个装饰类，用来包装原有的类，并在保持类方法签名完整性的前提下，提供了额外的功能。 我们通过下面的实 阅读全文