芋圆院长

摘要： 本篇是对自己学习《最优化方法》的一些脉络、思路的记载，夹杂自己的一点点思考。 之前讲到求函数的局部最优，凸函数则为全局最优的基本判别条件（参见之前的最优化方法课程总结一）。知道基本原理后，自然要实际操作计算。本篇主要是对解决思路的概述和一些方法的介绍 优化问题的求解概述 一般求解方法有解析法、图解法 阅读全文

摘要： 重采样 重采样的主要方法有残差重采样、多项式重采样、最优重采样、分层重采样和最优传输重采样等。 （说实话我还没搞清楚和信号处理那边差不多的上下重采样之类之间的关系） 这篇文章介绍的重采样是针对之前提到的蒙特卡罗序列采样时为了避免重要性权重过大导致小部分粒子占据大部分权重，选择用粒子数目来表示比例的一 阅读全文

摘要： 发现网上看到的序列蒙特卡罗的中文理解很少，就稍微整理一下自己看到的，欢迎讨论~ 内容引入 许多现实世界的数据分析任务都涉及从一些给定的观察数据中估计预测未知的数据。大多数应用场景下可以使用一些先验知识来辅助建模，即贝叶斯模型【通过未知量的先验分布以及与这些量与观测值相关的似然函数得到后验分布来刻画和 阅读全文

摘要： 注：本节内容是对Sutton的《Reinforcement Learning: An introduction》第九章的理解整理~ 这里是第四、五节 上节讲到使用函数逼近状态值时使用的优化方法，随机梯度法可以用来求解各种函数最值。最简单的莫过于**线性关系！**近似函数是权值向量$w$的线性函数。 阅读全文

摘要： 本篇是对自己学习《最优化方法》的一些脉络、思路的记载，也有可能会有一点点思考。 贯穿本学期课程的主要内容实际上是泰勒公式和线性系统的择一性。当然主要是因为线性情况比较好求解，且任何函数取局部都可以线性近似，解决线性问题具有一般意义。 泰勒公式 一般来讲 ，泰勒公式展开只需要用到二阶即可。其本质意义在 阅读全文

摘要： 很多游戏、实际问题等的结构都和图有关，在图结构中寻找最优解也就是在图结构中进行搜索。有搜索自然就有广度优先、深度优先和启发式搜索三种方式。 广度优先 顾名思义，先从广度开始：检查完一个结点的全部后继结点才会开始搜索新的结点的后继结点。在实际实施过程中，经常使用队列结构来存储访问结点（先进先出） 一般 阅读全文

摘要： 注：本节内容是对Sutton的《Reinforcement Learning：An Introduction》第九章的理解整理~ 这里是第三节 回顾之前所说，我们希望能够找到比较好的函数参数使得逼近效果尽可能地好（给出了状态重要性分布），接下来这一节讨论的是可以使用什么方法来逼近呢？ **一定要记住 阅读全文

摘要： 注：本节内容是对Sutton的《Reinforcement Learning：An Introduction》第九章的理解整理~ 这里是第一、二节 我们知道 强化学习主要是通过对状态或动作状态组的值函数估计来进行决策。在之前的讨论中，每个状态的状态值函数只受前继、后继状态的影响，一次更新只影响一个状 阅读全文

摘要： 注：本文是对使用Python进行数据处理时常用的函数进行总结。 array的一些简单用法（再也不想用一次查一次了） 排序及索引 import numpy as np a = np.arange(100) b = sorted(a) a.sort() # 上述b是对a排序之后的新数组，a对象直接调用s 阅读全文

摘要： 本节是在画图过程中不断【百度】得到的经验汇总，主要是为了自己以后少查几次-_- subplot 和 bar 该函数主要是用来划分画布块的，一般想要在一个页面中画多幅图时使用。 具体使用步骤如下： import matplotlib.pyplot as plt import numpy as np p 阅读全文