2018年12月18日
大叔经验分享（13）spark运行报错WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
摘要： 本地运行spark报错 18/12/18 12:56:55 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.18/12/18 12:56:55 WARN Utils: Service 'spa 阅读全文
posted @ 2018-12-18 21:08 匠人先生 阅读(3816) 评论(0) 推荐(1)
大叔经验分享（12）如何程序化kill提交到spark thrift上的sql
摘要： spark 2.1.1 hive正在执行中的sql可以很容易的中止，因为可以从console输出中拿到当前在yarn上的application id，然后就可以kill任务， WARNING: Hive-on-MR is deprecated in Hive 2 and may not be ava 阅读全文
posted @ 2018-12-18 17:18 匠人先生 阅读(1376) 评论(0) 推荐(0)
大叔问题定位分享（16）spark写数据到hive外部表报错ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat
摘要： spark 2.1.1 spark在写数据到hive外部表（底层数据在hbase中）时会报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot 阅读全文
posted @ 2018-12-18 16:15 匠人先生 阅读(2874) 评论(1) 推荐(1)
大数据基础之Spark（3）Spark Thrift实现原理及代码实现
摘要： spark 2.1.1 一 启动命令 启动spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后会执行 org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive 阅读全文
posted @ 2018-12-18 15:54 匠人先生 阅读(3546) 评论(0) 推荐(1)
大叔问题定位分享（15）spark写parquet数据报错ParquetEncodingException: empty fields are illegal, the field should be ommited completely instead
摘要： spark 2.1.1 spark里执行sql报错 insert overwrite table test_parquet_table select * from dummy 报错如下： org.apache.spark.SparkException: Task failed while writi 阅读全文
posted @ 2018-12-18 15:08 匠人先生 阅读(4916) 评论(1) 推荐(3)
大叔经验分享（11）python引入模块报错ImportError: No module named pandas numpy
摘要： python应用通常需要一些库，比如numpy、pandas等，安装也很简单，直接通过pip # pip install numpyRequirement already satisfied: numpy in /export/App/anaconda2/lib/python2.7/site-pac 阅读全文
posted @ 2018-12-18 11:09 匠人先生 阅读(31758) 评论(0) 推荐(1)
免费股票行情接口
摘要： 免费股票行情接口： A股 1 sina 新浪js接口 http://hq.sinajs.cn/list=sh600001 返回 var hq_str_sh600011="华能国际,7.390,7.420,7.230,7.500,7.110,7.210,7.230,24257738,174459225 阅读全文
posted @ 2018-12-18 01:07 匠人先生 阅读(5669) 评论(0) 推荐(2)
大叔经验分享（10）Could not transfer artifact org.apache.maven:maven. from/to central. Received fatal alert: protocol_version
摘要： maven编译工程报错 [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:add-source (scala-compile-first) on project trade: Execution sc 阅读全文
posted @ 2018-12-18 00:35 匠人先生 阅读(4209) 评论(0) 推荐(1)