摘要：在最近的一个项目中，需要将Mysql的数据导入到Elasticsearch中，在这个过程中，本来应该是喝着阔乐，非常愉快的等待上传的，但是出现了很多问题。 一、磁盘扩容 我使用的是一台只挂载了40G系统盘的服务器，之前已经存了很多Sql数据，现在已经不够用了，但是通过fdisk l查看了一下还有另外 阅读全文

摘要：ELK环境搭建与测试 一、本文所需软件版本： 添加yum数据源查看我另外一篇博客： "yum源安装" （1）两台服务器 （2）CentOS6.5 （3）Filebeat5.6 （4）Redis4.0.9 （5）Logstash5.6.8 （6）elasticsearch5.6.8 （7）Kibana 阅读全文

摘要：elasticsearch底层技术lucene解析 elasticsearch是一个分布式搜索引擎，其是一个应用工具，面向用户，而其底层技术是用到了一个叫lucene的技术，主要提供了倒排索引来提高索引的效率。下面简单介绍一下倒排索引，既然有倒排索引，那么必定有正排索引，所以先从正排索引开始，然后引 阅读全文

摘要：服务器之间免密钥登陆 今天在搭建YARN的高可用环境的时候，需要将两个节点之间进行免密钥操作，之前在搭建NameNode的高可用时也进行过免密钥操作，所以记录一下。 这两个节点是基于YARN的MapReduce框架中的NodeManager节点，NM节点是用来存储本节点元数据信息的，为了防止节点内存 阅读全文

摘要：Hadoop-HDFS 1、存储模型：字节 文件线性切割成块（Block），偏移量（假设100bytes切割成10块，偏移量为0，10，20…，作用就是知道数据在哪里，方便管理） Block分散存储在集群节点中 单一文件Block大小一致，文件与文件之间可以不一致 Block可以设置副本，副本无序分 阅读全文