随笔档案「2018年9月」 - 一只猪儿虫

scala combineByKey用法说明

摘要：语法是： combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C ) 标记一下：（因为有很多同样的字母，方便说明我就按照字母+数字标记一下）语法说明：（不复制网上的，阅读全文

posted @ 2018-09-29 12:50 一只猪儿虫阅读(556) 评论(0) 推荐(0)

spark 中如何查看单个RDD分区的内容（创建分区，查看分区数）

摘要：spark 创建分区 val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98)) val input = sc.parallelize(scores 阅读全文

posted @ 2018-09-29 11:53 一只猪儿虫阅读(1345) 评论(0) 推荐(0)

scalac:cannot connnect to compile server(idea 编译scala)

摘要：idea编译scala报错解决办法： File->setting->scala compile server （找到jdk填上 ok）阅读全文

posted @ 2018-09-15 15:11 一只猪儿虫阅读(1242) 评论(0) 推荐(0)

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

摘要：这时windows远程调试hadoop集群出现的这里做个记录我用改变系统变量的方法修正了错误网上搜索出来大概有三种： 1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启阅读全文

posted @ 2018-09-14 12:09 一只猪儿虫阅读(396) 评论(0) 推荐(0)

Exception message: /bin/bash: line 0: fg: no job control

摘要：这个错误是我本地idea 远程调试hadoop集群出现的 Diagnostics: Exception from container-launch. Container id: container_1536891254067_0001_02_000001 Exit code: 1 Exceptio 阅读全文

posted @ 2018-09-14 12:06 一只猪儿虫阅读(1878) 评论(2) 推荐(0)

Error: java.lang.NullPointerException at outputformat.MysqlOutputFormat.getRecordWriter(MysqlOutputFormat.java:27)

摘要：Error: java.lang.NullPointerException at outputformat.MysqlOutputFormat.getRecordWriter(MysqlOutputFormat.java:27) at org.apache.hadoop.mapred.ReduceT 阅读全文

posted @ 2018-09-12 12:00 一只猪儿虫阅读(476) 评论(0) 推荐(0)

hbase集群中其中某个regionserver 没有启动

摘要：第一步： date命令查看各个机器的时间发现linux02机器时间差了2个多小时第二步：ntpdate pool.ntp.org 修改错误时间的机器第三步：重启 hbase 阅读全文

posted @ 2018-09-11 15:14 一只猪儿虫阅读(1013) 评论(0) 推荐(0)

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.o

摘要：上面的报错是在本地java调试（windows） hadoop集群出现的解决方案：在resources文件夹下面创建一个文件log4j.properties（这个其实hadoop安装目录下的 etc/hadoop/log4j.properties 同名，我尝试拿过来用，发现还是不行报错信息如下阅读全文

posted @ 2018-09-04 18:03 一只猪儿虫阅读(1664) 评论(0) 推荐(1)