百里登峰 - 博客园

基于IDEA环境下的Spark2.X程序开发

摘要：我们选择在线安装这个是windows下的scala,直接双击安装就可以了安装好之后可以验证一下这个是我本地的jdk1.8安装包，直接双击安装安装完成后可以验证一下 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 解压阅读全文

posted @ 2018-03-14 22:17 百里登峰阅读(1882) 评论(0) 推荐(0)

Spark2.X环境准备、编译部署及运行

摘要：下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz 我们把spark放在节点2上解压下面我们把jdk换成1.8的配置环境变量使环境变量生效重启后另外两个节点的做法一样，这里就不多说了阅读全文

posted @ 2018-03-13 16:10 百里登峰阅读(336) 评论(0) 推荐(0)

Cloudera HUE大数据可视化分析

摘要：下载版本 cdh版本 http://archive-primary.cloudera.com/cdh5/cdh/5/ 我们下载这个这个是我下载好的我们解压一下下载需要的系统包接下来这一步的话可能时间比较久一点起码要三五分钟的，大家耐心等等现在我们编译就成功了！！！我们可以看到生成我们的b 阅读全文

posted @ 2018-03-12 11:32 百里登峰阅读(734) 评论(0) 推荐(0)

Hive与HBase集成进行数据分析

摘要：我们把hive的安装包上传的节点3来解压现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件，把下面这两个文件重命名一下修改这个文件对hive-env.sh我们修改这里下面我们在HDFS下创建目录，这个可以在任何一个节点下创建都可以，我这里就在节点2下创建了给这个目录赋予阅读全文

posted @ 2018-03-09 16:59 百里登峰阅读(544) 评论(0) 推荐(0)

centos7 安装后静态ip的配置

摘要： centos7 想到于centos6.5来说界面上看起来更加炫一点，但是在配置静态ip上来说是差不多的首先看一下centos7的安装界面，相对来说简洁好看一些先打开终端可以看到centos7默认的端口是ens32 而centos6.5默认的端口是eth0,这个不用管他，就用默认的就好了把这个阅读全文

posted @ 2018-03-07 16:16 百里登峰阅读(503) 评论(0) 推荐(0)

hbase启动后子节点的regionserver不能启动

摘要：启动hbase后，主节点的进程正常，但是子节点的regionserver进程会自动挂掉然后我们看看子节点的情况可以看到挂掉了我们这样解决问题，先把hadoop目录下的这个两个文件放到hbase的conf目录下 core-site.xml hdfs-site.xml 我这里说的是每一个节点都要这阅读全文

posted @ 2018-03-05 12:00 百里登峰阅读(619) 评论(0) 推荐(0)

MySQL安装

摘要： http://mirrors.aliyun.com/repo/Centos-6.repo 把文件下载下来打开我们可以看到里面的内容然后在对节点1进行以下操作把下载的文件内容copy到自己刚刚创建的 CentOS-Base.repo文件里面把里面的内容换成刚刚下载的文件的内容先把权限改一下，阅读全文

posted @ 2018-02-07 21:36 百里登峰阅读(197) 评论(0) 推荐(0)

数据采集存储分发完整流程测试

摘要：下面讲下idea怎么创建工程这里可以根据自己的实际需求来命名选中main点击Sorouce 这个是一个简单的java程序工程的创建，现在我们把前面的代码copy过来，我们先把工程目录规范一下把我前面给出的代码复制过来把名字改了下面是给代码打包到这里就打包完成了，接下来把项目自带的打好的架阅读全文

posted @ 2018-02-01 10:55 百里登峰阅读(720) 评论(0) 推荐(0)

Flume+HBase+Kafka集成与开发

摘要：先把flume1.7的源码包下载 http://archive.apache.org/dist/flume/1.7.0/ 下载解压后我们通过IDEA这个软件来打开这个工程点击ok后我们选择打开一个新的窗口不过这个默认方式导入加载时间很长，建议大家用maven方式导入。导入之后我们看这个类看阅读全文

posted @ 2018-01-23 01:59 百里登峰阅读(1654) 评论(0) 推荐(0)

Flume数据采集准备

摘要：， flume的官网：http://flume.apache.org/ flume的下载地址：http://flume.apache.org/download.html 这里我们用的是apache版本的flume 解压改下名字把不必要的文件删除 flume用户指南官网地址：https://cwi 阅读全文

posted @ 2018-01-20 00:39 百里登峰阅读(441) 评论(0) 推荐(0)

百里登风

导航

公告