随笔档案「2019年11月」 - 筱筱蛋坑

Machine Theory of Mind

摘要：摘要： Mind Theory泛指人类表示他人心理状态的能力，包括欲望、信仰和意图。作者设计了一套心智神经网络理论ToMnet，使用元学习建立它所遇到的智能体的模型，仅仅通过观察它们的行为。通过这个过程，ToMnet获得了要给强大的智能体行为的先验模型，可以仅使用少量的行为观察引导更丰富的有关智能体阅读全文

posted @ 2019-11-28 11:26 筱筱蛋坑阅读(568) 评论(0) 推荐(0)

A critique of pure learning and what artificial neural networks can learn from animal brains

摘要：摘要作者认为大多数动物的行为不是聪明的学习算法——监督或者非监督——的结果，而是编码在基因组中。具体来说，动物具有高度结构化的大脑连接，使它们能够非常迅速的学习。由于连接过于复杂无法在基因组中明确指定，通过“genomic bottleneck”进行了压缩，而genomic bottleneck为阅读全文

posted @ 2019-11-25 16:18 筱筱蛋坑阅读(388) 评论(0) 推荐(0)

【Meta learning】Learning to learn: Meta-Critic Networks for sample efficient learning

摘要：文章主要问题是解决少样本学习，灵感来自actor-critic增强学习，但可以应用于增强和监督学习。核心方法是学习一个meta-critic——神经网络的行为价值函数，学习去评判解决特殊任务的actor。对于监督学习，相当于一个可训练的任务参数损失发生器。对于增强学习和监督学习，这种方法提供了一种知阅读全文

posted @ 2019-11-25 08:53 筱筱蛋坑阅读(761) 评论(1) 推荐(0)

强化学习概述

摘要：一、强化学习简介强化学习强调如何基于环境而行动，以取得最大化的预期收益。灵感来源于心理学中的行为主义理论，即有机体在环境给予奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。强化学习所解决问题的特点：1、智能体和环境之间不断交互；2、搜索和试错；3、延迟奖励（当前的动作很阅读全文

posted @ 2019-11-22 09:29 筱筱蛋坑阅读(830) 评论(0) 推荐(0)

LSTM 长短时间记忆网络

摘要：LSTM是一种特殊的RNN网络，为了解决RNN的长依赖问题，使进行信息处理的地方可以学习到距离较远的信息。下图为RNN和LSTM的结构差异，LSTM有四个网络层。 LSTM的核心是细胞状态，像传送带一样贯穿整个细胞，但只有很少的分支，保证信息不变的流过整个RNN。 LSTM通过一种门结构（一个sig 阅读全文

posted @ 2019-11-21 19:00 筱筱蛋坑阅读(1121) 评论(0) 推荐(0)

RNN循环神经网络

摘要：RNN是两种神经网络模型的缩写，一种是递归神经网络（Recursive Neural Network），一种是循环神经网络（Recurrent Neural Network）。这里讨论第二种。 1、概述 RNN是一种特殊的神经网络结构，根据人的认知是基于以往的经验和记忆这一观点提出，不仅考虑前一时刻阅读全文

posted @ 2019-11-19 22:32 筱筱蛋坑阅读(436) 评论(0) 推荐(0)

《机器学习》一绪论

摘要：何为机器学习： Mitchell在1997年给出了形式化的定义：假设P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则关于T和P，该程序对E进行了学习。通俗来说，机器学习就是通过计算的手段，利用经验来改善系统自身的性能。从实际操作上，计算机系统的经验通常阅读全文

posted @ 2019-11-17 15:32 筱筱蛋坑阅读(316) 评论(0) 推荐(0)

Adam算法【待更新】

摘要：参考文献： ⭕ 讲解博客yif25 阅读全文

posted @ 2019-11-15 17:14 筱筱蛋坑阅读(120) 评论(0) 推荐(0)

什么是智能【待思考】

摘要：1、什么是智能？智能——智力和能力，“智”指进行认识活动的某些心理特点，“能”则指进行实际活动的某些心理特点。一些智能行为：学习、推理、思考、规划 Intelligence has been defined in many ways: the capacity for logic, unders 阅读全文

posted @ 2019-11-15 15:48 筱筱蛋坑阅读(1144) 评论(0) 推荐(0)

【Meta learning】Reptile: a Scalable Metalearning Algorithm

摘要：论文信息： Nichol A , Achiam J , Schulman J . On First-Order Meta-Learning Algorithms[J]. 2018. 摘要文章从一个任务分布中抽取许多任务来训练元学习模型，使其可以更快的学习这个分布中未遇到的任务。仅在元学习更新过程阅读全文

posted @ 2019-11-14 17:46 筱筱蛋坑阅读(1243) 评论(0) 推荐(0)

【Meta learning】MAML笔记

摘要：原文部分摘要：元学习算法与模型无关，兼容任何梯度下降训练的模型，适用于分类、回归和强化等。元学习的目标是用大量任务训练一个模型，使它可以通过少量训练样本解决新的任务。模型参数被显式训练，少量样本下少量梯度步长就能在新任务上产生良好的泛化性能。实际是将模型训练得易于微调。亮点：1、小样本集的阅读全文

posted @ 2019-11-13 12:23 筱筱蛋坑阅读(380) 评论(0) 推荐(0)

待读文章

摘要：⭕ 强化学习整合算法Rainbow 阅读全文

posted @ 2019-11-13 09:32 筱筱蛋坑阅读(87) 评论(0) 推荐(0)

【Meta learning】综述

摘要：元学习试图根据性能做出响应，从而对模型结构以及参数空间进行修改，在新环境中利用之前积累的经验。人类大脑针对某项任务的工具和能力是什么？元学习研究者提出两种理论与这些工具相关： 1、学习的先验：人类可以利用过去任务中学到的信息，很快的学会新任务。例如物理知识或掉血奖励等； 2、学习的策略：人类收集到阅读全文

posted @ 2019-11-12 18:11 筱筱蛋坑阅读(312) 评论(0) 推荐(0)

【Meta learning】Learning to learn by gradient descent by gradient descent (Nips2016)

摘要：摘要：特征的寻找已取得巨大成功，从手工设计到机器自己学习。但是优化算法仍依靠人工设计，这篇文章试图将优化算法的设计转换成一个学习问题。借用LSTM实现学习算法，在训练任务上优于通用人工设计方法，且可推广到相似结构的新任务。这种方法适用于多种问题，例如简易凸优化、训练神经网络、用神经学设计图像等。阅读全文

posted @ 2019-11-11 12:05 筱筱蛋坑阅读(1496) 评论(0) 推荐(0)

【Meta-learning】入门

摘要：何为meta learning Meta learning的初衷是learning to learn，即学会学习。对比于依赖巨量训练的增强学习，元学习能够充分利用知识快速指导新任务学习，是通用人工智能的关键。元学习的主要挑战是以系统的、数据驱动的方式从先前的经验中学习。首先，需要收集描述先前学习任阅读全文

posted @ 2019-11-06 15:08 筱筱蛋坑阅读(824) 评论(0) 推荐(1)

机器发展阶段

摘要：机器智能程度三阶段：运动--思考--情感第1级：机器人具备基本的运动能力，语言能力和视觉能力，能够按照人类的命令去处理一些外在的多样任务，比如扫地，擦桌子，倒垃圾等等。机器人不具备思考能力，是完全的人类仆人。比如只知道执行任务的机器人瓦力（不考虑电影中有意识的部分）。第2级：机器人具备思考能力，阅读全文

posted @ 2019-11-06 10:08 筱筱蛋坑阅读(481) 评论(0) 推荐(0)