随笔分类 - Spark集群搭建（1、3和5节点）（含CentOS系统和Ubuntu系统）
摘要：不多说，直接上干货！ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 为什么，我要在这里提出要
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 前言 本人呕心沥血所写，
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 无论是hadoop、sp
阅读全文
摘要：关于IDEA里如何多种方式打jar包，然后上传到集群的问题？ 前期准备，就是在，IDEA里，maven来创建项目。这里不多赘述。 1）用maven项目来打包，我推荐这个。 （强烈推荐，简单又快速） Spark编程环境搭建（基于Intellij IDEA的Ultimate版本） 而且，还可以改名。比如
阅读全文
摘要：不多说，直接上干货！ 目前啊，都知道，大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。 手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切
阅读全文
摘要：spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio
阅读全文
摘要：不多说，直接上干货！ 如何自己编译生成Eclipse插件，如hadoop-eclipse-plugin-2.6.0.jar 一、相关软件的安装和配置 (一)JDK的安装和配置 Jdk 1.7*安装并配置 (二)Eclipse的安装和配置 Eclipse的下载、安装和WordCount的初步使用（本地
阅读全文
摘要：前言 本人呕心沥血所写，经过好一段时间反复锤炼和整理修改。感谢所参考的博友们！同时，欢迎前来查阅赏脸的博友们收藏和转载，附上本人的链接。http://www.cnblogs.com/zlslch/p/5847528.html 关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模
阅读全文
浙公网安备 33010602011771号