L先生AI课堂

摘要： 一、前述 上一篇我们讲到了微分学，本文我们接着讲解积分学，以及概率的相关知识。 二、常用符号 三、积分 1、积分定义 将一个函数对应的区间n等分，然后加和求极限。 2、积分理解 代数意义: 无穷求和 几何意义: 函数与 X 轴之间的有向面积。 3、(牛顿-莱布尼茨公式) 如果 f(x) 是定义在闭区 阅读全文

摘要： 一、前述 数学基础知识对机器学习还有深度学习的知识点理解尤为重要，本节主要讲解极限等相关知识。 二、极限 1、例子 当 x 趋于 0 的时候，sin(x) 与 tan(x) 都趋于 0. 但是哪一个趋于 0 的速度更快一些呢？ 我们考察这两个函数的商的极限， 所以当 x → 0 的时候，sin(x) 阅读全文

摘要： 一、前述 CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。 二、CNN与RNN对比 1、CNN卷积神经网络与RNN递归神经网络直观图 2、相同点： 2.1. 传统神经网络的扩展。 2.2. 前向计算产生结果，反向计算模型更新。 2 阅读全文

摘要： 一、前述 ChatterBot是一个基于机器学习的聊天机器人引擎，构建在python上，主要特点是可以自可以从已有的对话中进行学(jiyi)习(pipei)。 二、具体 1、安装 是的，安装超级简单，用pip就可以啦 2、流程 大家已经知道chatterbot的聊天逻辑和输入输出以及存储，是由各种a 阅读全文

摘要： 一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础。 能够在Sca 阅读全文

摘要： 一、前述 Spark内存管理 Spark执行应用程序时，Spark集群会启动Driver和Executor两种JVM进程，Driver负责创建SparkContext上下文，提交任务，task的分发等。Executor负责task的计算任务，并将结果返回给Driver。同时需要为需要持久化的RDD提 阅读全文

摘要： 一、前述 Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。 自愿申请的话，本文分粗粒度和细粒度模式分别介绍。 二、具体 Spark资源调度流程图： Spark资源调度和任务调度的流程： 1、启动集群后，Worker节点会向Master节点汇报资源 阅读全文

摘要： 一。前述 Reduce文件会从Mapper任务中拉取很多小文件，小文件内部有序，但是整体是没序的，Reduce会合并小文件，然后套个归并算法，变成一个整体有序的文件。 二。代码 ReduceTask源码： 源码1.1排序比较器，当用户不设置的时候取排序比较器实现，此时如果用户配置排序比较器，用排序比 阅读全文

摘要： 一。前述 上次讲完MapReduce的输入后，这次开始讲MapReduce的输出。注意MapReduce的原语很重要： “相同”的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算！！！！！ 二。代码 继续看MapTask任务。 解析一。构造OutPut对象： 解析1.1 解析源码 阅读全文

摘要： 一。前述 有了上次hadoop集群的搭建，搭建yarn就简单多了。废话不多说，直接来 二。规划 三。配置如下 yarn-site.xml配置 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle< 阅读全文

摘要： 一。前述 本来有套好好的集群，可是不知道为什么虚拟机镜像文件损坏，结果导致集群不能用。所以不得不重新搭套集群，借此机会顺便再重新搭套吧，顺便提醒一句大家，自己虚拟机的集群一定要及时做好快照，最好装完每个东西后记得拍摄快照。要不搞工具真的很浪费时间，时间一定要用在刀刃上。废话不多说，开始准备环境搭建， 阅读全文

摘要： 一。基本介绍 rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 3代表每次分完组之后的每个组的初始值。 seqFunc代表combine的聚合逻辑 每一个mapTask的结果的聚合成为combine combFunc reduce端大聚合的逻辑 阅读全文

摘要： 今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。 一。下载Spark安装包 可以从官网下载，本集群选择的版本是spark-1.6.0-bin-hadoop2.6 在官网中找到对应的链接即可http://spark.apache.org/downloa 阅读全文

摘要： 一。导入数据 结果如下： 三。插入数据 由于x轴过于紧凑，所以使用旋转x轴的方法 结果如下。 四。设置x轴y轴说明 五。子图设置 六。一个图标多个曲线。 1.简单实验。 2.使用循环 3.设置标签 4。设置完整标签 七。折线图（某电影评分网站） 1.读取数据 2.设置说明 3.旋转x轴 y轴 八。 阅读全文