摘要：算式识别（挑战项目） ...Previous weight data... ...Previous weight data... 100%|██████████████████████████████████████████████████████████████████████████| 8000 阅读全文

摘要：十、行动者-评论者方法 1.行动者-评论者方法我们可以通过两大类别的方法解决强化学习问题。对于蒙特卡罗学习或 Q 学习等基于值的方法，我们会尝试表示每个状态或状态动作对的值，然后，根据任何状态我们可以选择具有最佳值的动作。如果你有数量有限的动作，这种方法很合适。另一方面，基于策略的方法会对从状态到动 阅读全文

摘要：九、策略梯度1.为何要使用基于策略的方法原因有三个方面：简单性，随机性策略和连续动作空间。在 Q 学习等基于值的方法中我们发明了值函数这一概念作为查找最优策略的中间步骤，它有助于我们将问题重新描述为更易于理解和学习的形式。但是如果我们的最终目标是查找最优策略，真的需要该值函数吗？可以直接估算最优策略 阅读全文

摘要：深度Q学习 TensorFlow实现 如果你想了解如何在其他 Python 框架中编写实现，请参阅： (Keras) https://keon.io/deep-q-learning/ (PyTorch) http://pytorch.org/tutorials/intermediate/reinfo 阅读全文

摘要：八、深度Q-学习 1.神经网络作为值函数状态值函数将任何状态 s 映射到实数，表示根据当前策略 π 该状态的重要性。如果我们使用神经网络估算该函数，则输入需要以向量的形式提供进来。我们已经知道如何使用特征转换 x 执行这一步。现在输入可以经过神经网络。如果它旨在输出一个实数，即网络估算的值，那就与利 阅读全文

摘要：七、连续空间中的强化学习 1.复习强化学习强化学习问题通常都会转化为马尔可夫决策流程，简称 MDP。一个 MDP 由一组状态 S 动作 A 概率 P 奖励 R 和折扣因子 γ 组成。P 表示不同转换和奖励的发生频率，通常建模为单个联合概率。任何时间步 t+1 的状态和奖励仅依赖于在上个时间步 t 的 阅读全文

摘要：项目：强化学习走迷宫 我们将会应用 Q-learning 算法完成一个经典的 Markov 决策问题 -- 走迷宫！ 请查看项目详情 https://github.com/udacity/MLND_CN_P5_Reinforcement_Learning Section 0 问题描述与完成项目流程 阅读全文

摘要：六、时间差分方法 1.给定一个策略，如何估算其值函数？在蒙特卡洛方法中，智能体以阶段形式与环境互动，一个阶段结束后，我们按顺序查看每个状态动作对，如果是首次经历，则计算相应的回报并使用它来更新动作值。我们经历了很多很多个阶段。需要注意的是，只要我们不在阶段之间更改策略，该算法就可以解决预测问题，只要 阅读全文

摘要：五、蒙特卡洛方法 1.状态值 如果你想详细了解首次经历和所有经历 MC 方法之间的区别，建议你阅读此论文的第 3 部分。结果在第 3.6 部分进行了总结。作者指出： 所有经历 MC 存在偏差，而首次经历 MC 不存在偏差（请参阅 Theorems 6 和 7）。 一开始，所有经历 MC 具有更低的均 阅读全文

摘要：四、动态规划1.在动态规划设置中，智能体完全了解表示环境特性的马尔可夫决策流程 (MDP)。（这比强化学习设置简单多了，在强化学习设置中，智能体一开始不知道环境如何决定状态和奖励，必须完全通过互动学习如何选择动作。） 2.迭代方法求状态值函数迭代方法先对每个状态的值进行初始猜测。尤其是，我们先假设每 阅读全文

摘要：三、强化学习框架：解决方案1.状态值函数 2.贝尔曼方程 在这个网格世界示例中，一旦智能体选择一个动作，1)它始终沿着所选方向移动（而一般 MDP 则不同，智能体并非始终能够完全控制下个状态将是什么）2)可以确切地预测奖励（而一般 MDP 则不同，奖励是从概率分布中随机抽取的）。在这个简单示例中，我 阅读全文

摘要：一、简介 1.强化学习简称RL，即Reinforcement Learning。 2.应用 了解 AlphaGo Zero，一款先进的计算机程序，打败了专业人类围棋手。 了解如何使用强化学习 (RL) 玩Atari 游戏。 了解打败全世界的顶级 Dota 2 玩家的 OpenAI 机器人。 了解指导 阅读全文

摘要：步骤 0: 导入数据集 导入狗数据集 在下方的代码单元（cell）中，我们导入了一个狗图像的数据集。我们使用 scikit-learn 库中的 load_files 函数来获取一些变量： train_files, valid_files, test_files - 包含图像的文件路径的numpy数组 阅读全文

摘要：1.如果你是态度认真的机器学习工程师，你会花很长时间清洗数据。 2.对网络提前训练完全不同的事物，比从来没有训练过的网络可以得到更好的结果。从某种角度讲，神经网络内部形成的特征，与你训练的图片类型无关。 3.敏感性与特异性敏感性和特异性虽然与查准率和查全率相似，但并不相同。在癌症示例中，敏感性和特异 阅读全文

摘要：迁移学习是指对提前训练过的神经网络进行调整，以用于新的不同数据集。 取决于以下两个条件： 新数据集的大小，以及 新数据集与原始数据集的相似程度 使用迁移学习的方法将各不相同。有以下四大主要情形： 新数据集很小，新数据与原始数据相似 新数据集很小，新数据不同于原始训练数据 新数据集很大，新数据与原始训 阅读全文

摘要：我们看一个 CNN 示例，了解具体运行过程。 我们要查看的 CNN 在 ImageNet 上进行了训练（请参阅这篇来自 Zeiler 和 Fergus 的论文）。在下面的图片中（摘自上述同一论文），我们将看到该网络中的每个层级会检测到什么，并查看每个层级如何检测到越来越复杂的规律。 我们看一个 CN 阅读全文

摘要：1. 创建 AWS 帐号 访问 aws.amazon.com 并点击“创建 AWS 帐号 (Create an AWS Account)”按钮。 1. 创建 AWS 帐号 访问 aws.amazon.com 并点击“创建 AWS 帐号 (Create an AWS Account)”按钮。 1. 创 阅读全文

摘要：注意卷积层中的参数数量是如何变化的。对应的是输出内容中的 Param # 下的值。在上图中，卷积层具有 80 个参数。 同时注意卷积层的形状是如何变化的。对应的是输出内容中的 Output Shape 下的值。在上图中，None 对应的是批次大小，卷积层的高度为 100，宽度为 100，深度为 16 阅读全文

摘要：一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 阅读全文

摘要：开始 在这个项目中，你将分析一个数据集的内在结构，这个数据集包含很多客户针对不同类型产品的年度采购额（用金额表示）。这个项目的任务之一是如何最好地描述一个批发商不同种类顾客之间的差异。这样做将能够使得批发商能够更好的组织他们的物流服务以满足每个客户的需求。 这个项目的数据集能够在UCI机器学习信息库 阅读全文