摘要：
环境：jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7 一.安装zookeeper（集群模式） 0.安装机器 ip hostname 192.168.100.9 ns1 192.168.100.10 dn1 1.下载zookeeper 2.zookeeper 阅读全文
posted @ 2018-08-10 17:04
言下忘言
阅读(271)
评论(0)
推荐(0)
摘要：
1.首先需要创建spark.history.fs.logDirectory 2.修改hadoop-defaults.conf,添加如下内容 修改spark-env.sh 添加如下内容 -Dspark.history.ui.port=7777 #设置日志监控端口 -Dspark.history.ret 阅读全文
posted @ 2018-08-09 21:36
言下忘言
阅读(1084)
评论(0)
推荐(0)
摘要：
Logger.getRootLogger.setLevel(Level.ERROR) 通过在代码中设置log级别即可 阅读全文
posted @ 2018-08-09 17:05
言下忘言
阅读(4316)
评论(0)
推荐(1)
摘要：
1.任务是提交在yarn上的，查看 resourceManager页面 有如下信息 Current usage: 58.4 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container 阅读全文
posted @ 2018-08-09 16:54
言下忘言
阅读(2629)
评论(0)
推荐(0)
摘要：
1.安装jdk 2.安装scala 参照jdk的安装 3.ssh 免密码登录 4.安装hadoop 以上四步请参照 centos7 安装hadoop2.7.6（分布式） 5.安装spark 1）官网下载对应版本 https://archive.apache.org/dist/spark/spark- 阅读全文
posted @ 2018-08-09 14:39
言下忘言
阅读(837)
评论(0)
推荐(0)
摘要：
本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop groupadd hadoop 3.创建用 阅读全文
posted @ 2018-08-09 10:55
言下忘言
阅读(917)
评论(0)
推荐(0)
摘要：
本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla 阅读全文
posted @ 2018-08-09 10:22
言下忘言
阅读(279)
评论(0)
推荐(0)
摘要：
最近接到一个需求，需要对spark的结果分目录输出，百度之后找到了解决方案，大多都是spark 按照key分目录输出， 但是在文件当中，会把key也输出出来，在这里以key作为目录是想建hive表时把 01,02当做分区的，结果文件中不需要保存key值。其实在mr中也有类似需求，我的输出只要key- 阅读全文
posted @ 2018-04-15 21:19
言下忘言
阅读(2366)
评论(0)
推荐(0)
摘要：
1.git 官网下载git tar包 git-2.9.5.tar.gz 2.解压tar包 tar -zxvf git-2.9.5.tar.gz cd git-2.9.5 tar -zxvf git-2.9.5.tar.gz cd git-2.9.5 3.编译安装 make prefix=/usr/l 阅读全文
posted @ 2018-04-15 17:55
言下忘言
阅读(3835)
评论(0)
推荐(0)
摘要：
这是一个极为简单的git笔记，只包含相关命令 1.git安装后自报家门，姓名和邮箱 $ git config --global user.name "Your Name" $ git config --global user.email "email@example.com" 2.创建工作区，初始化 阅读全文
posted @ 2018-04-15 17:37
言下忘言
阅读(4632)
评论(0)
推荐(3)
浙公网安备 33010602011771号