Spark - 随笔分类 - fuleying

Hadoop启动异常情况解决方案

摘要：1.启动时报WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable错误。原因：动态库获取路径为/... 阅读全文

posted @ 2015-06-06 15:17 fuleying 阅读(934) 评论(0) 推荐(0)

大数据工程的生态系统图

摘要：大数据的生态系统图Thinking in BigData（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解浅谈Apache Spark的6个发光点大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distr... 阅读全文

posted @ 2015-04-23 11:04 fuleying 阅读(1603) 评论(0) 推荐(0)

在myeclipse中使用Java语言进行spark Standalone模式应用程序开发

摘要：一.环境配置Myeclipse中虽然已经集成了maven插件，但是由于这个插件版本较低，建立maven project会出现错误。解决办法：自己到官网http://maven.apache.org/下载最新版本的maven插件，解压，在环境变量中注册。新建环境变量M2_HOME在PATH里加入mav... 阅读全文

posted @ 2014-08-20 20:01 fuleying 阅读(2430) 评论(0) 推荐(0)

随笔分类 - Spark