随笔分类 - 6. 人工智能
将通常由人类完成的智力任务自动化
摘要:1. 简介 在无监督学习算法,应用最广泛的算法是聚类。 还有其他的无监督学习算法如下: * 密度估计 * 异常检测 聚类可以将数据集中的样本划分为若干个通常是不相交的子集,每个子集称为一个簇(cluster)。 通过这这样的划分,每个簇对于于一些潜在的类别。 2. k均值算法 算法流程 step 1
阅读全文
摘要:一个例子, 预测电影的评分 这个案例中, 我们要预测其中所有打问号的地方,预测他们的值是多少 其中 r(i, j) 如果是真, 则表示已经被评论上, 如果假,则未评论。 i 表示电影序号, j 表示用户序号 y(i, j) 表示评分序号, 值的范围为 0~5 推荐系统的任务就是, 利用算法,给定了一
阅读全文
摘要:1. 简介 Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda ——一个包和环境管理器——衍生而来。 你将使用 conda 创建环境,以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。 通过使用 Anaconda,处
阅读全文
摘要:1. Pandas 简介 Pandas 是python中数据操纵和分析的软件包。Pandas 得名计量经济学 Pannel Data一词。 Pandas 中定义了两个新的数据结构, Pandas Series 与 Pandas DataFrame。 可以处理标签数据与关系数据。 本节目标: 如何导入
阅读全文
摘要:1. 神经网络模型开发动机 神经网络可以解决非常复杂的非线性分类问题。当特征数量特别多时, 可以考虑使用该算法。 解释一下非线性 图中, 蓝色表示生病的树, 橙色表示健康的树。 如果使用一条直线, 则可以区分开来,做出很好的预测。 但是如果是以下这种 如果是这种情况, 使用直线无法区分,这就是非线性
阅读全文
摘要:1. 逻辑回归 多元线性回归是用线性的关系来拟合一个事情的发生规律,找到这个规律的表达公式,将得到的数据带入公式以用来实现预测的目的, 习惯将这类预测未来的问题称作回归问题。 机器学习中按照目的不同可以分为两大类:回归和分类. 逻辑回归就可以用来完成分类任务. 1.1 二元分类实现方式 如果只有两种
阅读全文
摘要:1. 线性回归 回归是常用的一种数据分析的方法,通过规定因变量和自变量来确定变量之间的因果关系,建立一种回归模型,并根据实测数据来求解模型的各个参数, 然后评价回归模型是否能够很好的拟合实测数据,回归分析,可以帮助我们对数据做出合理的预测,其一般使用流程如下: 1.1 单个输入变量 假设我们有一组数
阅读全文
摘要:描述统计与推论统计的区别 描述统计 描述统计是用来描述收集的数据,如中心度量、散布度量、分布形态和离群值。我们也可以利用绘图数据,以便更好理解。 推论统计 推论统计是利用收集的数据,对更大的总体得出结论。使用推论统计要求我们对准确代表感兴趣的总体进行取样。 收集数据的常见方式是调查。然而,根据提问的
阅读全文
摘要:一个问题 假定人口总体的 1% 患癌。如果患癌,检测结果为阳性的可能性为 90%,如果不患癌,检测结果为阴性的可能性为 90%,在这种情景下,如果你的测试结果为阳性,患癌的概率是多少? 图解分析如下: 图中大的黑方框表示所有人, 其中小的黑圈表示 1%的患癌人群。 解法: 在未获得证据之前 P(C)
阅读全文
摘要:1. 为什么要学习概率? 统计和概率是不同但又紧密相关的数学领域。 在概率中,我们根据假定的模型或原因,对未来事件做出预测; 而在统计中,我们对过去发生的事件中的数据进行分析,从而推断出这些模型或原因是什么。一个是预测数据,另一个是根据数据进行预测。 举个例子 “概率论研究的是一个透明箱子,你知道这
阅读全文
摘要:1. 简介 本篇文章是对描述统计学的一个总结概要 * 描述了统计学中的数据类型 * 分析数据时用到的统计学方法 * 如何测量集中趋势和离散程度 * 常见的数据形状 * 如何处理异常数值 * 如何构建可视化图表更好的表达数据 1.1 什么是数据? 文字、图像、视频、声音等和其他形式都是数据。分析数据可
阅读全文
摘要:1. 为什么需要面向对象 * 借助面向对象,可以创建大型程序,使功能模块化 * 可以向最终用户隐藏实现细节 例如scikit-learn 是一个Python 机器学习的软件包 直接调用SVM模型, 用户并不需要知道SVM模型是如何工作与实现的。 2. 面向对象与面向过程 对象由特征与行为共同定义 3
阅读全文
摘要:1. NumPy简介 NumPy 是 Numerical Python的简称,它是Python中的科学计算基本软件包。NumPy 为 Python 提供了大量数学库,使我们能够高效地进行数字计算。 参考文档 https://docs.scipy.org/doc/numpy-1.13.0/conten
阅读全文
摘要:建立一个可以有多个分类的神经网络 第一步:下载数据 第二步:解压并显示数据 运行结果: 注释: 使用 matplotlib 显示数据 第三步:建立模型 运行结果: 使用图像显示 运行结果
阅读全文
摘要:本例使用神经网络识别人和马的照片 第一步:下载数据 运行结果 --2020-01-03 06:15:15-- https://storage.googleapis.com/laurencemoroney-blog.appspot.com/horse-or-human.zip Resolving st
阅读全文
摘要:1. 迁移学习的定义 指利用现有的模型,并根据新的应用场景稍加修改。不需要从头开始学。 图1-1 最近几年准确率越来越高的网络 为了使用迁移学习 2. Coading 在TensorFlow Hub(https://www.tensorflow.org/hub) 中具有很多已经训练好的模型。 第一步
阅读全文
摘要:目的: 要求使用CNN来处理识别不同大小的彩色图像。 1. 分析问题 使用卷积神经网络处理彩色图像会遇到两个挑战: 1. 照片大小不同 2. 颜色是彩色的 对于第一个问题,将所有处理照片都调整成相同大小 。 对于第二个问题:将照片分成3维数据, 长,宽,深度 其中长与宽表示照片大小 , 深度表示RG
阅读全文
摘要:1.卷积神经网络概念 卷积网络是一种非常智能的网络结构,并且具有不变性。 有两个重要概念 * 卷积(Convolutions) * 最大池化(MaxPooling) 1.1 卷积的概念 卷积是指向图像应用滤波器的过程。 假设有一张灰度图像,假设其有6 * 6 橡素, 每个像素值在 [0,255] 之
阅读全文
摘要:目标:使用Fashion MINIST 数据集训练一个可以自动识别衣服的神经网络。 Fashion MINIST 数据集参考链接 https://github.com/zalandoresearch/fashion-mnist 图 1-1 创建一个可以识别衣服的神经网络 分析步骤 图1-2 分析结果
阅读全文

浙公网安备 33010602011771号