2020年6月2日
在CM安装好spark后，执行spark2-shell 报错
摘要： 1.执行spark2-shell 报错是： Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel) 阅读全文
posted @ 2020-06-02 16:11 麦田的瞭望 阅读(523) 评论(0) 推荐(0)
自定义java安装目录，导致sprak安装报错
摘要： 1.自己定义按装jdk jdk-8u144-linux-x64.tar.gz 安装，目录是：/app/jdk1.8.0_144 在CM上安装spark报错是： 2.查看日志 查看日志 /opt/cm-5.14.2/run/cloudera-scm-agent/process/90-spark2_on 阅读全文
posted @ 2020-06-02 16:00 麦田的瞭望 阅读(190) 评论(0) 推荐(0)
2020年5月31日
spark的编译
摘要： 1.下载spark源码包2.下载scala3.下载maven4.防止maven内溢出: export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 5.在spark目录下，有pom文件的那里 执行： 执行maven安装 ./build/mvn 阅读全文
posted @ 2020-05-31 23:22 麦田的瞭望 阅读(612) 评论(0) 推荐(0)
安装CDH6.2.1 时 cloudera-scm-server启动失败
摘要： 安装CDH6.2.1，在使用systemctl start cloudera-scm-server启动，status查看时，启动失败。查看/var/log/cloudera-scm-server 下没有日志再查看服务相关的日志： journalctl -xe 报错为: May 31 11:12:37 阅读全文
posted @ 2020-05-31 23:20 麦田的瞭望 阅读(6491) 评论(0) 推荐(0)
2020年5月21日
scala中:_*的使用
摘要： 1.计算1到4的和 1 def main(args: Array[String]): Unit = { 2 3 val total = sum(1,2,3,4) 4 println(total) 5 6 } 7 8 def sum(args: Int*) = { 9 var result = 0 1 阅读全文
posted @ 2020-05-21 09:07 麦田的瞭望 阅读(3115) 评论(0) 推荐(1)
2019年7月20日
spark中使用自定义UDAF
摘要： 一 UDAF简介 Hive中的自定义函数UDAFUDAF（User- Defined Aggregation Funcation），用户自定义弱类型聚合函数 所有的UDAF函数在内存里都是一块buffer（缓冲区），这个换成区被分成了多个块，每个块有一个index，从0开始。聚合一个数据时，会占用编 阅读全文
posted @ 2019-07-20 14:43 麦田的瞭望 阅读(612) 评论(0) 推荐(0)