文章分类 -  云计算与大数据综合实践

学习和使用大数据处理相关知识
hive调用mapReduce后，卡主不执行
摘要：执行状态： 原因： 阅读全文
posted @ 2020-03-10 13:12 怪兽不纯粹 阅读(410) 评论(0) 推荐(0)
yarn-site.xml配置
摘要：<configuration> <!—Nodemanager上运行的附属服务，需要配置成maredreduce_shffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</val 阅读全文
posted @ 2020-03-01 16:12 怪兽不纯粹 阅读(336) 评论(0) 推荐(0)
使用sqoop传递数据出现错误
摘要：问题： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=EXECUTE, inode="/tm 阅读全文
posted @ 2020-02-28 14:48 怪兽不纯粹 阅读(336) 评论(0) 推荐(0)
job工程流程
摘要： 阅读全文
posted @ 2020-02-26 15:26 怪兽不纯粹 阅读(102) 评论(0) 推荐(0)
MapReduce 编程：数据过滤及保存
摘要：问题1：shell运行程序后出现警告，且hdfs没有创建文件 java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, received org.apache.had 阅读全文
posted @ 2020-02-26 14:59 怪兽不纯粹 阅读(312) 评论(0) 推荐(0)
MapReduce 编程（单次计算）出现的问题
摘要：问题1: Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set 原因： 将FileOutputFormat.setOutputPath(job, ne 阅读全文
posted @ 2020-02-26 12:07 怪兽不纯粹 阅读(1793) 评论(0) 推荐(0)