我の女王

摘要： 1、把需要的处理的文件先得传输到hdfs上去 2、把mapreducer程序打成jar包传输到linux中 3、在yarn上跑jar包 hadoop jar jar包名 main方法的入口名称 一、导入pom文件 <repositories> <repository> <id>cloudera</i 阅读全文

摘要： 一、基本概念 一句话概括：HDFS是hadoop分布式文件系统，作用是存储大数据文件，是hadoop领域最基础的部分。 二、HDFS的重要特性 一群屌丝机组成高富帅 1、主从架构 namenode作为master负责管理元数据，datanode作为从节点存储block块数据 主从：通常是一主多从，主 阅读全文

摘要： 一、JVM是什么 大白话: 全称Java Virtual Machine(Java虚拟机), 它是一个虚构出来的计算机, 通过实际的计算机来模拟各种计算机的功能. 专业版: JVM是一个进程, 用来模拟计算单元, 将.class字节码文件转成计算机能够识别的指令. 二、JVM类加载机制 1、java 阅读全文

摘要： 一、全文检索 lucene实现全文检索流程 二、ELK日志协议栈 ELK：是一套完整的解决方案 1）elasticsearch：分布式搜索引擎的框架 2） 三、Elasticsearch介绍 1、介绍 简称ES，es是一个开源的高扩展的分布式全文检索引擎，专注于存储和检索数据，基于java语言编瞎写 阅读全文

摘要： 一、创建普通用户 注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数数据文件以及安装包等 创建一个es专门的用户（必须） 使用root用户在三台机器执行以下命令 useradd es mkdir -p /export/ser 阅读全文

摘要： 1、下载redis的安装包 cd /export/softwares wget http://download.redis.io/releases/redis-3.2.8.tar.gz 2、解压redis压缩包到指定的目录 cd /export/softwares tar -zxvf redis-3 阅读全文

摘要： 一、消息队列的介绍 消息：网络间传递的数据 消息队列：（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回， 二、常用的消息队列介绍 1）RabbitMQ 是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。 2）Active 阅读全文

摘要： 一、集群操作 1、创建topic 创建一个名字为test的主题， 有三个分区，有两个副本 hadoop01执行以下命令来执行 帮助命令 进入bin/kafka-topics.sh help cd /export/servers/kafka_2.11-1.0.0 bin/kafka-topics.sh 阅读全文

摘要： 1、初始化环境搭建 安装jdk，安装zookeeper并保证zk服务正常启动 2、下载安装包并且上传解压 通过以下地址进行下载安装包 hadoop01执行以下命令，下载并解压 cd /export/softwares wget http://archive.apache.org/dist/kafka 阅读全文

摘要： 1、HBase的namespace介绍 namespace：名字空间或命名空间，相当于mysql中的database。 2、namespace的作用 1）配额管理：限制一个namespace可以使用的资源，包括region和table 2）命名空间安全管理：提供了另一个层面的多租户安全管理 3）Re 阅读全文