moonlight.ml

摘要： 基本环境： win10+idea Scala2.11.8 maven3.5.3 spark2.1.0 问题： 在window10下编译spark2.1.0源码，在idea下运行example，遇到问题 NoClassDefFoundError: org/spark_project/guava/cac 阅读全文

摘要： 1. 抽象 抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象，二是数据抽象。 （主题，当前目标，选择一部分进行，过程抽象，数据抽象） 2. 继承 继承是一种联结类的 阅读全文

摘要： 一、分区原理 1.为什么要分区？（这个借用别人的一段话来阐述。） 为了减少网络传输，需要增加cpu计算负载。数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免 阅读全文

摘要： 题目 Given an array of integers, every element appears three times except for one. Find that single one. Note: Your algorithm should have a linear runti 阅读全文

摘要： withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 阅读全文

摘要： 简介 在scala中没有枚举类型，但在标准类库中提供了Enumeration类来产出枚举。扩展Enumeration类后，调用value方法类初始化枚举中的可能值。 内部类value实际上是一个抽象类，真正创建的是val。因为实际上是Val，所以可以为Value传入id和name。如果不指定，id就 阅读全文

摘要： 1.以wordcount为例 2.控制台输出结果： 阅读全文

摘要： 1.以wordcount为例 2.输出结果： 阅读全文

摘要： 错误2: 未解决。 阅读全文

摘要： 对于2.20版本可能会出现以下问题： 针对这种情况，只用在spark\sql\hive-thriftserver\src\gen\java右键中点Mark Directory as->Sources Root即可 阅读全文