随笔分类 -  Scala

摘要：一、安装jdk jdk版本最好是1.7以上，设置好环境变量，安装过程，略。 二、安装Maven 我选择的Maven版本是3.3.3，安装过程，略。 编辑Maven安装目录conf/settings.xml文件， 三、安装Idea 安装过程，略。 四、创建Spark项目 1、新建一个Spark项目， 阅读全文

摘要：单例对象与类同名时，这个单例对象被称为这个类的伴生对象，而这个类被称为这个单例对象的伴生类。伴生类和伴生对象要在同一个源文件中定义，伴生对象和伴生类可以互相访问其私有成员。不与伴生类同名的单例对象称为孤立对象。 看看例子： ChecksumAccumulator单例对象有一个方法，calculate 阅读全文

摘要：在Spark的Rdd中，Rdd是分区的。 有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多，但是每个Rdd的数据量比较小，需要设置一个比较合理的分区。或者需要把Rdd的分区数量调大。还有就是通过设置一个Rdd的分区来达到设置生成的文件的数量。 有两种方法是可以重设Rdd的分区 阅读全文