随笔分类 -  原生态集群搭建

十、scala、spark集群搭建
摘要：spark集群搭建： 1、上传scala-2.10.6.tgz到master 2、解压scala-2.10.6.tgz 3、配置环境变量 export SCALA_HOME=/mnt/scala-2.10.6 export PATH=$PATH:$SCALA_HOME/bin 4、分别发送scala 阅读全文
posted @ 2019-09-12 11:23 xiaolaotou 阅读(330) 评论(0) 推荐(0)
八、Sqoop安装及基本使用
摘要：https://www.cnblogs.com/yfb918/p/10411507.html 阅读全文
posted @ 2019-09-11 11:34 xiaolaotou 阅读(101) 评论(0) 推荐(0)
六、HBase集成Phoenix安装
摘要：https://www.cnblogs.com/yfb918/p/10893423.html 阅读全文
posted @ 2019-09-11 11:31 xiaolaotou 阅读(230) 评论(0) 推荐(0)
七、Elasticsearch+elasticsearch-head的安装+Kibana环境搭建+ik分词器安装
摘要：一、安装JDK1.8 二、安装ES 三个节点：master、slave01、slave02 1、这里下载的是elasticsearch-6.3.1.rpm版本包 https://www.elastic.co/cn/downloads/elasticsearchwget --no-check-cert 阅读全文
posted @ 2019-04-09 10:23 xiaolaotou 阅读(675) 评论(0) 推荐(0)
五、Zookeeper、Hbase集群搭建
摘要：一、前提 1、安装JDK 2、安装Hadoop 3、安装zoookeeper 二、安装Hbase 找到官网下载 hbase 安装包 hbase-1.2.5-bin.tar.gz，这里给大家提供一个下载地址： http://mirrors.hust.edu.cn/apache/hbase/stable 阅读全文
posted @ 2019-04-01 13:13 xiaolaotou 阅读(202) 评论(0) 推荐(0)
二、集群配置SSH免密登录
摘要：一、以3个几点为例，分别为master、slave01、slave02 1、分别生成自己节点密钥对 master: 2、分别将slave01、slave02上的公钥发送到master上 [root@slave01 .ssh]# scp -r /root/.ssh/id_dsa.pub master: 阅读全文
posted @ 2019-03-29 17:29 xiaolaotou 阅读(399) 评论(0) 推荐(0)
四、hive安装
摘要：一、安装方式（内嵌模式，本地模式远程模式） 安装环境以及前提说明： Hive是依赖于hadoop系统的，因此在运行Hive之前需要保证已经搭建好hadoop集群环境。 本例中使用的hadoop版本为2.6.1，Hive版本为2.1.1版。 1.Hive的3种安装方式： 1）内嵌模式（元数据保存在内嵌 阅读全文
posted @ 2019-03-25 16:20 xiaolaotou 阅读(185) 评论(0) 推荐(0)
一、linux安装mysql
摘要：一、下载mysql免编译包： wget http://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz 二、安装 #1、解压tar -zxvf /mnt/mysql-5.6.33-linux-glib 阅读全文
posted @ 2019-03-25 15:36 xiaolaotou 阅读(302) 评论(0) 推荐(0)
三、hadoop、yarn安装配置
摘要：本文hadoop的安装版本为hadoop-2.6.5 一、安装JDK 1、下载java jdk1.8版本，放在/mnt/sata1目录下， 2、解压：tar -zxvf dk-8u111-linux-x64.tar.gz 3、vim /etc/profile 4、刷新配置 5、检测是否成功安装：ja 阅读全文
posted @ 2019-03-25 13:18 xiaolaotou 阅读(922) 评论(0) 推荐(0)
九、kafka伪分布式和集群搭建
摘要：伪分布式： 1、先将zk启动，如果是在伪分布式下，kafka已经集成了zk nohup /kafka_2.11-0.10.0.1/bin/zookeeper-server-start.sh /kafka_2.11-0.10.0.1/config/zookeeper.properties & 2、启动 阅读全文
posted @ 2019-02-21 11:10 xiaolaotou 阅读(443) 评论(0) 推荐(0)