摘要：
这里我的mysql ip地址用的是域名 导致无法识别数据源 两种解决方法 1.域名换成具体的ip地址 2.使用-- net host模式 阅读全文
posted @ 2024-02-17 22:00
-她的梦-
阅读(15)
评论(0)
推荐(0)
摘要：
这里的闭包指的是，当Executor在执行的过程中需要用到Driver内存里面的变量的话，就要求这个变量必须要先序列化，否则就会报错 这里即使集合里面没有数据，也会报错，因为在执行foreach之前会有一次检测，如果发现有scala对象未序列化，就报错，也就不会触发foreach方法 另外这里要明白 阅读全文
posted @ 2024-02-07 16:25
-她的梦-
阅读(13)
评论(0)
推荐(0)
摘要：
reduceByKey支持预聚合，这样的话IO就少了，读写效率高了，在聚合的时候内存的tuple也少了，内存上计算也更快了，所以如果使用聚合的话reduceBykey比groupbyKey效率更高 阅读全文
posted @ 2024-02-06 23:59
-她的梦-
阅读(10)
评论(0)
推荐(0)
摘要：
RDD是最小的计算单元，里面存放了数据结构和要执行的逻辑，当执行复杂的计算时，往往有多个RDD组合使用 大体的执行流程： Internally, each RDD is characterized by five main properties:RDD基本五大属性A list of partitio 阅读全文
posted @ 2024-02-05 23:54
-她的梦-
阅读(16)
评论(0)
推荐(0)
摘要：
List使用 1.使用List单例对象的apply方法创建list集合 var list1 = List(23,24,25) 2.使用 ::类和Nil类 具体使用： val ints = 26 :: list1 或者 val ints = list1.::(26)或者 val arr = 1::2: 阅读全文
posted @ 2024-02-02 21:56
-她的梦-
阅读(15)
评论(0)
推荐(0)
摘要：
一个Scala文件在编译后会有两个文件，为什么有两个文件? 因为scala的作者想要这门语言更加面向对象，他认为java里面的main方法，不需要对象就能调用，因此有两个文件。 HelloScala文件是入口文件,这个文件调用了HelloScala$的main方法 而HelloScala$文件是真正 阅读全文
posted @ 2024-01-31 00:03
-她的梦-
阅读(17)
评论(0)
推荐(0)
浙公网安备 33010602011771号