随笔分类 - Hadoop

CentOS6下配置Spark、Python开发环境记录

摘要：1. 使用$SPARK_HOME/sbin/下的pyspark启动时，报错Traceback (most recent call last): File "/home/joy/spark/spark/python/pyspark/shell.py", line 28, in import py4j 阅读全文

posted @ 2017-02-27 20:37 夕照_Joy 阅读(5535) 评论(0) 推荐(0)

Hive提交的MapReduce任务执行中段挂起（从Running状态跳回为Accepted状态）问题解决记录

摘要：一个用Java写的计算程序通过JDBC的方式连接Hive数据库，执行SQL查询语句查询数据。结果对应的MapReduce任务执行到Map 18% Reduce xx%之后，所有的进度输出都变为了Map 0% Reduce 0%，Job状态从Running跳到Accepted，并且阻塞无法正常执行阅读全文

posted @ 2016-09-07 17:25 夕照_Joy 阅读(4478) 评论(0) 推荐(0)