大浪淘沙、

摘要： https://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/gdb.html 阅读全文

摘要： 原始地址：https://news.cnblogs.com/n/671205/ 使用包和环境 和latex对应的包为：handcalcs，使用pip下载即可 另外需要一些常用的数学包，首先在python本地将公式创建出来，如math包，scipy的积分生成包等 环境为jupyter notebook 阅读全文

摘要： 图片文字识别-问题描述和流程图 针对识别图片中的文本信息识别，分为文本区域检测，之后是将文本区域的字符分割，分割以后开始进行字符识别。 滑动窗口 滑动窗口是用来定位文字位置、行人位置等。 以行人检测为例子： 1.做滑动窗口前，首先进行预训练（训练样本为固定大小的图片），获得一个能识别行人的模型。 2 阅读全文

摘要： 大规模机器学习-学习大数据集 数据越多，自然训练效果越好，在训练过程中，过拟合与欠拟合的指标通过绘图确定，据此调整超参数。 在此前的批梯度下降法的过程中，当数据集过大时候，由于如下计算式子中要求遍历所有数据得到一次更新，其计算成本过于昂贵。因此，如果裁剪数据集的大小，如果也能够达到相同的训练效果，则 阅读全文

摘要： 推荐系统-问题公式化 如下是一个电影评分系统。某个用户没有看过某电影时，通过得到预测评分来判断是否推荐该电影给该用户。 其中？表示没有看过，对应的r=0。其它表示在图中给出。从常识上看，电影列表中前三个为爱情片，后两个为动作片，这为评分预测提供了线索。可以进行针对每个用户将电影分类，求得该用户对某类 阅读全文

摘要： 效果不太好 稀疏奖励中的好奇心 curiosity模型中，在原来DQN的基础上，建立了Network1，用于在𝑎_𝑡和𝑠_𝑡的条件下预测输出的下一个状态，与实际在MDP的一个片段上输出的，下一个状态之间求差，将差作为奖励r的一部分，以鼓励探索不同的状态。 引入了Network2，将输入的两个 阅读全文

摘要： 人的大脑的意识分为 潜意识 表意识 前意识 前意识是守门员，表意识是理性思维和判断，潜意识是本能 人的潜意识分为 自我 本能 中层 高层 自我是面子，比较等展示优点隐藏确定点方面的自我相关内容 本能是利益和实际回报 中层是指记忆和心智模式 高层是同理心，创造力，灵感 创新性思维有 顿悟 心流（文思如 阅读全文

摘要： 异常检测-问题动机 为了进行数据条目的异常检测（正样本很少的二分类问题），使用密度估计的方法，在每条数据中，每个x的特征可能性为𝑝(𝑥)。 当模型概率𝑝(𝑥)累乘值小于epsilon，则认为是一条异常条目。在下图中，数据集中的中心区域，其概率累乘p则大一些，更可能是正常的样本。 高斯分布 高 阅读全文

摘要： 估计价值的方法MC与TD MC（Monte-Carlo）的方法，在Sutton的书中有比较权威并详细的说明。地址：https://rl.qiwihui.com/zh_CN/latest/index.html 下图是首次访问型的MC方法，估计状态的价值V。在初始化后，先根据策略获取一个完整的序列，然后 阅读全文

摘要： 数据压缩 将二维数据降低到一维数据的方法，有直接替换的方法。下图中，将数据条目的二维特征x1,x2，转化为了一维特征z1。其中，x1和x2是直接相关的（因为四舍五入出现了一些偏差），而z1等于x1。 但是更通用的方法，应该是建立一个直线，该直线到所有特征点的距离平方和是最小的。以该直线建立坐标轴z， 阅读全文

该文被密码保护。 阅读全文

摘要： tf.gradients tf.stop_gradient np.ravel tf.distrbution.prob/sample 获取对应位置的概率值 python的Queue tf.sequeeze tf.one_hot tf.one_hot的必要性在于：one_hot方式，去掉了标签的顺序影响 阅读全文

摘要： Actor-Critic算法 在之前的Policy Gradient算法中，其运行结果不够稳定的至少一条原因是：奖励项不够稳定。 下图中，蓝色实现标记的当前和随后的奖励累积和，作为评判𝜋生成的轨迹的好坏度量，即通过累积和修正𝑙𝑜𝑔𝑝_𝜃。 但是，该累积和受到了策略网络𝜋的影响很大。在相 阅读全文

摘要： 本文主要是整理策略迭代的部分，重在阐明原理。李宏毅的视频，见网上。 最终说明OpenAI的默认强化学习算法PPO的部分。（Proximal Policy Optimization） 蓝色标记为有待查阅具体代码。不同于强化学习的值迭代的容易理解和表达，策略迭代更需要耐心、细心、思考。 优化目标 策略 阅读全文

摘要： 核函数2 知道了核函数的表示形式（使用例如高斯核函数作为工具，计算样本x和地标l之间的距离作为特征f，其中f为核函数），之后就是讨论核函数地标的选择。 选择形式为：将训练集中的样本个数m选择，作为地标，获得m个特征f。并增加一个偏置f0=1。得到m+1维的特征f。 对于支持向量机的thetaT*x， 阅读全文

摘要： 类偏斜的误差度量 比如在一个肿瘤预测的问题上，当大量的样本为负样本（实际上没有肿瘤99.5%），只有少数的样本为正样本（实际存在肿瘤0.5%）。那么评判一个机器学习模型的指标，就需要调整。 在一个极端的情况，当一个模型为y=0，也就是将所有预测全为负样本，就有了99.5%的正确率，而这种模型忽略了输 阅读全文

摘要： 模型选择与交叉验证 需要选择合适的模型，能够正确的训练模型，并更好的拟合数据。如下的例子是房价面积和价格的线性回归模型， 更少的参数拟合效果不够好，更多的参数导致过拟合。 因此，在使用过程中，将数据集划分为：训练集、验证集、测试集。比例为：6:2:2。选择完以后，使用如下的第一个J函数作为训练依据， 阅读全文

摘要： 反向传播的直观理解 在如下例子的神经网络中，误差从后向前传递。误差反向传递的过程中，以权值theta作为反向传递的依据。 如delta(4)1=y-a(4)1作为最终的误差。delta(3)2=theta(3)02*delta(4)1，delta(2)2=theta(2)12*delta(3)1+t 阅读全文

摘要： 神经网络模型表示 前向传播 每一层都增加一个偏差单位x0=1和a0=1以后，使用如下公式推导出输出h。 相当于输入层的x经过权重theta乘积变换后重组为特征输出a，然后a再经过变换得到结果h。 theta作为权值矩阵的表示为： 在上述网络中，增加了偏置值x0，则从隐层向输入层，theta1的尺寸为 阅读全文

摘要： 需要文件 zlib、openssl、openssh 参阅： https://blog.csdn.net/ctbinzi/article/details/5929800 https://blog.csdn.net/v6543210/article/details/83420034 说明代码 arm-l 阅读全文