匠人先生

2018年12月21日

大叔问题定位分享（21）spark执行insert overwrite非常慢，比hive还要慢

摘要：最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select * from t 阅读全文

posted @ 2018-12-21 11:45 匠人先生阅读(8586) 评论(1) 推荐(1)

大叔经验分享（14）spark on yarn提交任务到集群后spark-submit进程一直等待

摘要： spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用；最近发现sp 阅读全文

posted @ 2018-12-21 11:15 匠人先生阅读(2946) 评论(0) 推荐(0)

大叔问题定位分享（20）hdfs文件create写入正常，append写入报错

摘要：最近在hdfs写文件的时候发现一个问题，create写入正常，append写入报错，每次都能重现，代码示例如下： FileSystem fs = FileSystem.get(conf); OutputStream out = fs.create(file); IOUtils.copyBytes(i 阅读全文

posted @ 2018-12-21 11:08 匠人先生阅读(1461) 评论(0) 推荐(0)

2018年12月20日

大叔问题定位分享（19）spark task在executors上分布不均

摘要：最近提交一个spark应用之后发现执行非常慢，点开spark web ui之后发现卡在一个job的一个stage上，这个stage有100000个task，但是绝大部分task都分配到两个executor上，其他executor非常空闲，what happened？查看spark task分配逻辑阅读全文

posted @ 2018-12-20 21:44 匠人先生阅读(2234) 评论(0) 推荐(0)

大数据基础之Spark（4）RDD原理及代码解析

摘要：一简介 spark核心是RDD，官方文档地址：https://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rdds官方描述如下：重点是可容错，可并行处理 Spark r 阅读全文

posted @ 2018-12-20 21:18 匠人先生阅读(1661) 评论(0) 推荐(1)

2018年12月19日

大叔问题定位分享（18）beeline连接spark thrift有时会卡住

摘要： spark 2.1.1 beeline连接spark thrift之后，执行use database有时会卡住，而use database 在server端对应的是 setCurrentDatabase，经过排查发现当时spark thrift正在执行insert操作， org.apache.sp 阅读全文

posted @ 2018-12-19 19:38 匠人先生阅读(949) 评论(0) 推荐(0)

大叔问题定位分享（17）spark查orc格式数据偶尔报错NullPointerException

摘要： spark查orc格式的数据有时会报这个错 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits(OrcInputF 阅读全文

posted @ 2018-12-19 11:36 匠人先生阅读(3738) 评论(0) 推荐(1)

2018年12月18日

大叔经验分享（13）spark运行报错WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

摘要：本地运行spark报错 18/12/18 12:56:55 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.18/12/18 12:56:55 WARN Utils: Service 'spa 阅读全文

posted @ 2018-12-18 21:08 匠人先生阅读(3816) 评论(0) 推荐(1)

大叔经验分享（12）如何程序化kill提交到spark thrift上的sql

摘要： spark 2.1.1 hive正在执行中的sql可以很容易的中止，因为可以从console输出中拿到当前在yarn上的application id，然后就可以kill任务， WARNING: Hive-on-MR is deprecated in Hive 2 and may not be ava 阅读全文

posted @ 2018-12-18 17:18 匠人先生阅读(1376) 评论(0) 推荐(0)

大叔问题定位分享（16）spark写数据到hive外部表报错ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat

摘要： spark 2.1.1 spark在写数据到hive外部表（底层数据在hbase中）时会报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot 阅读全文

posted @ 2018-12-18 16:15 匠人先生阅读(2874) 评论(1) 推荐(1)

Thinking in BigData

公告