摘要：
本地模式问题系列： 问题一：会报如下很多NoClassDefFoundError的错误，原因缺少相关依赖包 解决办法：下载相关缺少的依赖包，并在idea工程界面加入依赖包，路径为：file -- project structure -- libraries 中，点击左上角“+”符号添加依赖包的路径 阅读全文
posted @ 2019-10-04 01:38
CQ_LQJ
阅读(1091)
评论(0)
推荐(0)
摘要：
一、IDEA安装 下载Community版的IDEA，Ultimate是免费试用版（相当于用到后面要给钱的） ideaIC-2019.2.3.tar.gz 解压IDEA： tar -zxvf ideaIC-2019.2.3.tar.gz 查看目录： 启动iedea： 报错：Unable to det 阅读全文
posted @ 2019-10-03 00:18
CQ_LQJ
阅读(1296)
评论(0)
推荐(0)
摘要：
4.2.1 下载并安装spark 下载文件名：spark-2.4.4-bin-without-hadoop.tgz 4.2.2 配置linux环境变量 4.2.3 配置spark-env.sh变量环境 注：因为我们下载是不带hadoop依赖jar的spark版本，所以需要在spark配置中指定had 阅读全文
posted @ 2019-10-02 21:31
CQ_LQJ
阅读(5617)
评论(1)
推荐(0)
摘要：
下载安装scala：scala-2.13.1.tgz解压： 查看目录： 启动并测试Scala： 阅读全文
posted @ 2019-10-02 14:23
CQ_LQJ
阅读(383)
评论(0)
推荐(0)
摘要：
下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！ 杂谈篇： 【英语学习】 Re-pick up English for learning big data (not updated regularly) 【转】大数据工程师需要学习哪些? 【转】大数据东西辣么 阅读全文
posted @ 2019-10-02 11:51
CQ_LQJ
阅读(873)
评论(0)
推荐(0)
摘要：
3.1 创建文件cd bin 跳转到bin文件夹里touch start-kafka-cluster.sh --新建一键启动文件touch stop-kafka-cluster.sh --新建一键停止文件3.2 编写startstart-kafka-cluster.sh内容：#!/bin/bashb 阅读全文
posted @ 2019-10-02 11:43
CQ_LQJ
阅读(1713)
评论(0)
推荐(0)
摘要：
3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 3.2.3 拷贝至各节点scp -r ~/kafka_2.12-2.3.0 hadoop02:~/scp -r ~/kafka_2.12-2.3.0 hadoop03:~/3.2.4 到各节点修 阅读全文
posted @ 2019-10-02 11:41
CQ_LQJ
阅读(4754)
评论(0)
推荐(0)
摘要：
3.1.1 下载sqoop1：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz3.1.2 解压并查看目录： 3.2 配置sqoop——mysql连接器：下载mysql-connector-java-8.0.16.jar，并将其拷贝至sqoop安装目录下的lib文件夹里3.3 阅读全文
posted @ 2019-10-02 11:29
CQ_LQJ
阅读(976)
评论(0)
推荐(0)
摘要：
下载hbase-2.2.1-bin.tar.gz并执行安装命令： 查看安装目录： 进入安装目录下conf，编辑hbase-env.sh、hbase-site、regionservers文件： hbase-env.sh文件 hbase-site文件： 注：我们测试环境里用的是HBase 2.2.1, 阅读全文
posted @ 2019-09-29 00:39
CQ_LQJ
阅读(2690)
评论(0)
推荐(0)
摘要：
实现功能：一键启动、关闭主从端3个节点上的zookeeper，附加查看启动状态 zookeeperstart.sh添加内容： zookeeperstopsh添加内容： 启动脚本： 例：以我的linux虚拟机上配置zookeeper为例 最后，我们可以看见，系统给出的信息表明，有两个follower， 阅读全文
posted @ 2019-09-29 00:21
CQ_LQJ
阅读(1171)
评论(0)
推荐(0)
浙公网安备 33010602011771号