摘要：
公司的CDH早就装好了，一直想自己装一个玩玩，最近组了台电脑，笔记本就淘汰下来了，加上之前的，一共3台，就在X宝上买了CPU和内存升级了下笔记本，就自己组了个集群。 话说，好想去捡垃圾，捡台8核16线程64G内存的回来，手动滑稽。 3台笔记本的配置和角色分配： 宿主CPU 宿主内存 虚拟机 虚拟机C 阅读全文
posted @ 2017-01-12 23:40
破击手
阅读(12692)
评论(4)
推荐(1)
摘要：
一、Wifi无法连接 ip addr 显示：unmanaged， plugin missing 先连有线网yum install -y NetworkManager-wifi systemctl restart NetworkManager.service 二、笔记本合上后休眠 yum instal 阅读全文
posted @ 2019-08-04 01:45
破击手
阅读(493)
评论(0)
推荐(0)
摘要：
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装：http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装：http:/ 阅读全文
posted @ 2017-02-05 00:32
破击手
阅读(833)
评论(0)
推荐(0)
摘要：
Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装：http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装：http:/ 阅读全文
posted @ 2017-02-04 22:59
破击手
阅读(2420)
评论(0)
推荐(0)
摘要：
虽然我已经装了个Cloudera的CDH集群(教程详见：http://www.cnblogs.com/pojishou/p/6267616.html)，但实在太吃内存了，而且给定的组件版本是不可选的，如果只是为了研究研究技术，而且是单机，内存较小的情况下，还是建议安装Apache的原生的集群拿来玩， 阅读全文
posted @ 2017-02-04 22:44
破击手
阅读(3170)
评论(0)
推荐(0)
摘要：
spark2.1出来了，想玩玩就搭了个原生的apache集群，但在standalone模式下没有任何问题，基于apache hadoop 2.7.3使用spark on yarn一直报这个错。(Java 8) 报错日志如下： 解决方案： 修改yarn-site.xml，添加下列property 分析 阅读全文
posted @ 2017-01-31 01:06
破击手
阅读(8122)
评论(1)
推荐(1)
摘要：
本篇源码基于赵星对Spark 1.3.1解析进行整理。话说，我不认为我这下文源码的排版很好，不能适应的还是看总结吧。 虽然1.3.1有点老了，但对于standalone模式下的Master、Worker和划分stage的理解是很有帮助的。 总结： master和worker都要创建ActorSyst 阅读全文
posted @ 2017-01-17 23:09
破击手
阅读(1091)
评论(0)
推荐(0)
浙公网安备 33010602011771号