摘要：
继续 阅读全文
posted @ 2017-05-04 00:03
大数据和AI躺过的坑
阅读(773)
评论(0)
推荐(0)
摘要：
这里，为什么选择用hadoop-2.6.0.tar.gz + hive-1.0.0.tar.gz是为了搭配兼容。 hadoop-2.6.0.tar.gz + hive-1.0.0.tar.gz + pig 在$HADOOP_HOME/share/hadoop/yarn/lib下查看是jline-0. 阅读全文
posted @ 2017-05-03 23:52
大数据和AI躺过的坑
阅读(396)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上 阅读全文
posted @ 2017-05-03 23:22
大数据和AI躺过的坑
阅读(6124)
评论(0)
推荐(1)
摘要：
不多说，直接上干货！ http://archive.apache.org/dist/ http://www.cnblogs.com/smartloli/p/4527168.html http://www.cnblogs.com/ae6623/p/6225379.html 学习扩展 CDH版本大数据集 阅读全文
posted @ 2017-05-03 23:19
大数据和AI躺过的坑
阅读(1342)
评论(0)
推荐(0)
摘要：
对于这里的打包，总结： (1) 最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。 Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平） IDEA里如何多种方式打jar包，然后上传到集群 Sp 阅读全文
posted @ 2017-05-03 16:19
大数据和AI躺过的坑
阅读(995)
评论(0)
推荐(0)
摘要：
问题详情 解决办法 有时候上述这样kill做下来，并不管用，得再来 同时，大家要注意，是否是进程的消失？ 也会是你的slave1 还是 slave2的进程自动消失了。注意 ，这是个很隐蔽的问题。 重新停止集群，再重新启动集群。 如果还是出现这个问题的话，则 MapReduce任务运行到running 阅读全文
posted @ 2017-05-03 14:49
大数据和AI躺过的坑
阅读(15494)
评论(0)
推荐(0)
摘要：
一、系统要求 在安装这个数据挖掘加载项前，你的机器必须要可以支持如下的相关系统设备： （1）操作系统：windows 7 和 windows 8，暂时不支持 windows 10。 （2）excel2013：professional 、professional plus 、utltimate 、en 阅读全文
posted @ 2017-05-03 12:10
大数据和AI躺过的坑
阅读(4098)
评论(0)
推荐(2)
摘要：
问题描述 解决办法 先把这个hdfs目录下的数据删除。并修改配置文件flume-conf.properties，重新采集。 教大家一招：大家在这些如flume的配置文件，最好还是去看官网，学会扩展，别只局限于别人的博客的文档，当然可以作为参考。关键还是来源于官方！ 重新开启flume 如果你的问题， 阅读全文
posted @ 2017-05-02 22:31
大数据和AI躺过的坑
阅读(3115)
评论(0)
推荐(0)
浙公网安备 33010602011771号