如玉暖阳

2015年7月29日

摘要：开发机器上安装jdk1.7.0_60和scala2.10.4，配置好相关环境变量。网上资料很多，安装过程忽略。此外，Eclipse使用Luna4.4.1，IDEA使用14.0.2版本。1. Eclipse开发环境搭建1.1. 安装scala插件安装eclipse-scala-plugin插件，下载地... 阅读全文

posted @ 2015-07-29 21:30 如玉暖阳阅读(8435) 评论(0) 推荐(0)

在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

摘要： Hadoop的安装和配置可以参考我之前的文章：在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境。本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境。1. 软件准备 scala-2.11.7.tgzspark-1.4.0-bin-hadoop2.6.tgz都可以从官网下... 阅读全文

posted @ 2015-07-29 00:25 如玉暖阳阅读(1990) 评论(0) 推荐(0)

2015年7月27日

如何排查java.lang.NoSuchMethodError错误

摘要：今天碰到一个java.lang.NoSuchMethodException的异常。基本解决思路是：1、检查类所在jar包的版本是否正确。2、检查是否有jar包冲突，比如加载了多个版本的xxx.jar。如果是maven工程，可以通过mvn dependency:tree来显示工程的依赖树。3、如果还无... 阅读全文

posted @ 2015-07-27 21:05 如玉暖阳阅读(1018) 评论(0) 推荐(0)

搭建Hadoop2.6.0+Eclipse开发调试环境

摘要：上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到eclips... 阅读全文

posted @ 2015-07-27 20:37 如玉暖阳阅读(4150) 评论(0) 推荐(0)

2015年7月26日

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

摘要：近几年大数据越来越火热。由于工作需要以及个人兴趣，最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来，与网友分享讨论，作为个人备忘。第一篇，在win7虚拟机下搭建hadoop2.6.0伪分布式环境。1. 所需要的软件使用Vmware 11.0搭建虚拟机，安装Ubuntu 1... 阅读全文

posted @ 2015-07-26 23:36 如玉暖阳阅读(2768) 评论(0) 推荐(0)

公告