潜水闲鱼

摘要： 1.　首先我们新建一个java工程，这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致，避免一些不必要的错误。我这里用的jdk是1.8版本的。 2、为了让java和hadoop相结合，肯定要导入hadoop相关的Jar包。 分别导入Hadoop下载包下的各种jar包。 （1）c 阅读全文

摘要： 一.准备装备 1.centOS7镜像 2.jdk1.8 3.hadoop2.7.4 二.配置虚拟机环境 (使用root) 1.给虚拟机添加hadoop用户 2.修改虚拟机网络配置,在虚拟机中编辑 编辑虚拟机网络 设置vmware8NAT模式 ip地址与本机的ip在同一网段 备注：克隆虚拟机之后 3. 阅读全文

摘要： 本章主要讲解一种添加和三种查找功能，我们分别以代码形式进行讲解，欢迎各位积极讨论。 首先，应用java导包是必须的，我们创建maven项目后，在pom.xml文件中，进行导包。所需要包可在maven elasticsearch官网查询。 导包完成后，即可进行下面的步骤。 1.ES文本内容的添加jso 阅读全文

摘要： 我们以上篇的elasticsearch添加的内容为例，对其内容进行爬取，并获得有用信息个过程。 先来看一下elasticsearch中的内容： 1.在python中，首先要用到urllib的包，其次对其进行读取的格式为json。 2.接下来，我们获取相应的路径请求，并用urlopen打开请求的文件： 阅读全文

摘要： 1.索引的建立 存储数据到 Elasticsearch 的行为叫做 索引 ，但在索引一个文档之前，需要确定将文档存储在哪里。 一个 Elasticsearch 集群可以 包含多个 索引 ，相应的每个索引可以包含多个 类型 。 这些不同的类型存储着多个 文档 ，每个文档又有 多个 属性 。 首先了解增 阅读全文

摘要： 本博客安装的ELK版本为目前最新版本6.3.0，由于elasticsearch是基于java开发的，所以对JDK的版本有要求，在5.0以后的版本中，要求JDK版本不低于1.8的才可正常实用。 同时，elasticsearch，logstash,kibana三个版本最好一致，否则会产生因版本冲突发生的 阅读全文

摘要： 本章我们在Linux系统环境下，对数据的清洗和整理做简单的讲解。 首先我们创建一个数据或者文件，个人信息文件info.csv （根据文件路径的不同，自行更改文件读取的路径。） 1.缺失值的填充 虽然都填充为0，但这样显然有些不太合适，我们希望在性别添加男或女，年龄和分数希望是一个平均数。 得到了： 阅读全文

摘要： Pandas处理以下三个数据结构 - 系列(Series) 一维ndarray 特点：带有标签，可以使用标签作为索引，大小不能改变，内部数据可以改变。 属性：与NumPy类似，多了一个轴标签axis lables 数据帧(DataFrame) 二维ndarray 特点：带标签，可以同行列标签索引，尺 阅读全文

摘要： 这些排序函数实现不同的排序算法，每个排序算法的特征在于执行速度，最坏情况性能，所需的工作空间和算法的稳定性。 下表显示了三种排序算法的比较。 （1）np.sort()--函数返回输入数组的排序副本 输出： 在含有字符串的sort排序中： 输出： （2）np.argsort() 函数对输入数组沿给定轴 阅读全文

摘要： Matplotlib是NumPy的绘图库。通常，通过添加以下语句将包导入到 Python 脚本中： （1）这里pyplot()是 matplotlib 库中最重要的函数，用于绘制 2D 数据 输出： 其中，各种标记符请参考官网标识符。 使用 matplotlib 生成正弦波图 输出： （2） sub 阅读全文