摘要： 1、MP(马尔科夫过程) 1.1、MDP介绍 1）MDP形式化地表达强化学习的过程(此时假设环境完全可以观察) 2) 几乎所有强化学习问题都可以形式化为MDP 1.2、MDP定义 MDP是一个二元组<S，P>，其中S是状态集合；P是状态转移概率 2、MRP(马尔科夫奖励过程) 在MP中加入了Rewa 阅读全文

摘要： 从模型角度出发解释模型： 1、在测试点周围拟合一个简单模型 2、扰动测试集，看预估值如何变化 如何解释模型如何产生呢？ 使用影响函数来解释 使用困难在于： 1、影响函数需要求二阶导； 2、需要模型凸且可微分； 解决方案：二阶优化技术 Question：这篇文章里面的training point是指什 阅读全文

摘要： 1、书 《An introduction to Reforcement Learning》Sutton and Barto, 1998，400页 《Algorithms for Reforcement Learning》Szepesvari，2010，偏数学，不到100页 2、强化学习的特点 不存在 阅读全文

摘要： 摘要： 基于robust statistics中的影响函数的学习，提出一套方案： 1）只需要梯度和二阶导； 2）非凸不可微问题也有一定意义； 3）对于香型模型和CNN：理解模型行为；debug模型；检测数据错误； 如果发现文中有问题，敬请联系作者批评指正，真诚欢迎您的指教，谢谢！ 微信: legel 阅读全文

摘要： 1、定义： 生成模型（或称产生式模型）和判别模型（或称判别式模型）的本质区别在于模型中观测序列x和状态序列y的决定关系。前者假设y决定x，后者假设x决定y。 2、生成模型特点 2.1、生成模型以“状态序列y按照一定的规律生成观察输入序列x”为假设，针对联合分布p(x,y)建模，通过估计生成概率最大的 阅读全文

摘要： 非常重要： 逻辑归回模型与最大熵模型的等价性：逻辑回归模型，本质上就是一个最大熵模型 最大熵模型，是基于最大熵原理的判别模型 最大熵原理，在满足约束条件的情况下，选择熵最大的模型 1概率图模型分类 1.1有向图模型 1.1.1静态贝叶斯网络 1.1.2动态贝叶斯网络 1.1.2.1隐马尔科夫模型：用 阅读全文

摘要： 找出字符串的最长不重复子串，输出长度 公共祖先节点：http://blog.csdn.net/yangrujing/article/details/51985860 即在父串中寻找子串首次出现的位置 求两个串中的第一个最长子串 求子数组的最大和 在二元树中找出和为某一值的所有路径 在二元树中找出和为 阅读全文

摘要： 0、摘要 传统广告按cpm/cpc计费；广告主出价固定，不能充分优化广告主汇报和流量。使用ocpc优化。 1、介绍 1.1、两种形式 Banner CPC Item CPC:200个中有3个广告位 1.2、和RTB差别 同时具有需求方和供给方的特点，数据闭环，用户行为更加完整； 大部分广告主都比较小 阅读全文

摘要： 1、介绍 1.0.1、自然语言对话的传统方案： 基于规则or基于学习； 缺点：人工构建规则或者模型，在小数据上运行，不好迁移 1.0.2、STC：Short-Text Conversation——只考虑一轮对话 STC解决方案： 基于检索or基于SMT(statistical machine tra 阅读全文

摘要： Note1:网飞的推荐倾向于长尾 Note2: 符号学派：逆向演绎，从哲学、心理学、逻辑学寻求洞见——>逆向演绎 连接学派：对大脑进行逆向分析，来源于神经科学和物理学——>反向传播 进化学派：在计算机上进行模拟，利用遗传学和进化生物学——>遗传编程 贝叶斯学派：概率推理，理论基础是统计学——>贝叶斯 阅读全文