摘要：通过实验发现： foreach()遍历的顺序是乱的 但： collect()取到的结果是依照原顺序的 take()取到的结果是依照原顺序的为什么呢？？？？另外，可以发现： take()取到了指定数目的元素，就不再多取了scala> val rdd = sc.makeRDD((0 to... 阅读全文

摘要：http://www.cnblogs.com/crazy-fox/archive/2012/02/09/2343722.html我们都知道Maven本质上是一个插件框架，它的核心并不执行任何具体的构建任务，所有这些任务都交给插件来完成，例如编译源代码是由maven- compiler-plugin完... 阅读全文

摘要：http://www.aboutyun.com/forum.php?mod=viewthread&tid=12358&page=11.DataFrame是什么？2.如何创建DataFrame?3.如何将普通RDD转变为DataFrame？4.如何使用DataFrame？5.在1.3.0中，提供了哪些... 阅读全文

摘要：准备json文件：cat /root/1.json{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}可以尝试传统方法：val people = sqlContext.read.json("fil... 阅读全文

摘要：问题： spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at lin... 阅读全文

摘要：故障：[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interfac... 阅读全文

摘要：spark的远程调试spark-env.sh文件里面，加上下面配置即可：if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,... 阅读全文

摘要：原文发表于知乎，http://www.zhihu.com/question/35100740/answer/62354943知乎原帖，点击此处点赞:)【多图预警】【20年码农】70后老人，来自皖南山区纯的农村娃，大学之后才有的编程经历受前面一个兄弟的启发，截点图说说自己的这段历程，后面有时间再补充文... 阅读全文

摘要：http://blog.csdn.net/oopsoom/article/details/42061077一、Spark SQL External DataSource简介 随着Spark1.2的发布，Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口，来让... 阅读全文