2019年9月22日

NLP常用Python开发工具

摘要： 一、Numpy NumPy系统是Python的一种开源的数值计算包。 包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数 库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。 numpy和稀疏矩阵运算包scipy配合使用 阅读全文

posted @ 2019-09-22 23:06 AI数据 阅读(880) 评论(0) 推荐(0)

Hadoop(三）YARN

摘要： Yet Another Resources Negotiator 从Hadoop2.0版本开始引入YARN，主要功能： 集群资源管理系统 负责集群的统一管理和调度 与客户端交互，处理客户端请求 一、基本架构 Master/Slave架构 资源管理和节点管理器组成 集群的机器启动nodemanager 阅读全文

posted @ 2019-09-22 18:17 AI数据 阅读(419) 评论(0) 推荐(0)

Hadoop(二）HDFS

摘要： 海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno 阅读全文

posted @ 2019-09-22 16:23 AI数据 阅读(371) 评论(0) 推荐(0)

导航