芋圆院长

摘要： 凸共轭：凸共轭是勒让德变换的一种推广；凸共轭也被称作Legendre–Fenchel变换，或者Fenchel变换(以Adrien-MarieLegendre和WernerFenchel命名)。 勒让德变换：一个在数学和物理中常见的技巧，得名于阿德里安-马里·勒壤得（Arien-Marie Legen 阅读全文

摘要： 近来发现自己概念有些混淆，写一点自己对从Sutton书上看到的这些方法之间联系的理解和想法。 【如有不恰当的地方，欢迎指正！】 前言 强化学习的初始驱动就是通过和环境互动得到的奖励来评估经历过的状态或状态下选择的动作的好坏，从而选择出合适的策略进行控制。 所以最好的办法就是之前DP提到的利用贝尔曼方 阅读全文

摘要： 强化学习中涉及的采样方法包括重要性采样的相关内容和一些自己的思考 在之前内容的整理中涉及了一些重要性采样的内容，在介绍蒙特卡罗离线策略 时有所提及。其中详细介绍了到底什么是重要性采样。 这篇博文主要想更加深刻得思考为什么用的是重要性采样方法？ 强化学习中为什么要用重要性采样？ 参考链接中一句话说的很 阅读全文

摘要： 要解决的问题很简单如题，判断乘积方差与方差乘积之间的大小关系。 不得不说，乍一看真的很简单-_- 就是那种简单套路，随便一比应该就出来了吧 自己一去做好像就不是这么回事了... 上网查了一下基本没有详细步骤，就把我最后的智慧结晶贴出来（虽然这是数学证明的常用套路） 问题 随机变量$A$和$B$相互独 阅读全文

摘要： 说到文献查询，那真是一把辛酸泪。到别人查论文的网站很少能找到自己方向的论文，论文工作根本进行不下去啊-_- 博客又能写些什么呢 没有坚持写的内容居然是因为找不到相关的资料学习（简直是滑天下之大稽） 赶紧总结一下自己的血泪教训，也为看到的朋友们指一点点路~ 工欲善其事，必先利其器 先在各大搜索引擎找本 阅读全文

摘要： 这一篇主要用来总结我们熟知的简单随机抽样、分层抽样等等这些抽样和现在谈到的吉布斯采样、重要性采样、拒绝采样、蒙特卡罗等之间的联系和区别。 最想解决的问题是这些东西是否存在联系，联系在哪里？区别又是什么？ 抽样概念二三事 抽样：又称取样【当然，搜采样百度百科出来的也是取样】它们的英文名字都叫做samp 阅读全文

摘要： 前言 随机过程讨论的是随机变量随时间的变化情况，根据统计时间节点的连续与否和随机变量变化的连续与否可分为以下四种类型： · 连续型随机过程：变量连续、时间节点连续 · 离散型随机过程：变量离散、时间节点连续 · 连续随机序列：变量连续、时间节点离散 · 离散随机序列：变量离散、时间节点离散 本篇文章 阅读全文

摘要： 对偶问题的出现 这里主要介绍约束优化问题的对偶形式，要说为什么出现对偶可能是因为原问题的对偶问题一定是凸规划。 约束优化问题的一般形式： $$ \begin{matrix} min f(x)\ s.t. g_i(x)\geqslant 0, i=1,...,m)\ h_j(x)=0, j=2,... 阅读全文

摘要： 回顾 前边内容主要总结了无约束优化问题的求解步骤，即如何找一个函数的极大值，其中凸函数具备的良好性质保证局部最优解是全局最优解。一般通过最速下降法、牛顿法、共轭梯度法进行求解（针对这些方法的不足也有很多改进）。接下来主要总结在定义域有约束时，函数的优化问题。 约束优化问题 数学模型 优化目标为：\( 阅读全文

摘要： 故事继续从选定方向的选定步长讲起 首先是下降最快的方向 -- 负梯度方向衍生出来的最速下降法 最速下降法 顾名思义，选择最快下降。包含两层意思：选择下降最快的方向，在这一方向上寻找最好的步长。到达后在下一个点重复该步骤。定方向 选步长 前进... 优化问题的模型：\(min f(x)\) 其中$f$ 阅读全文