不咬牙 - 博客园

2022年2月

摘要： sparksql 2.0 及以上api Spark-SQL 2 API: 程序入口: val session = SparkSession.builder().master("local[3]").appName("demo").getOrCreate() 读取文件: val data: Datas 阅读全文

posted @ 2022-02-18 15:07 不咬牙阅读(68) 评论(0) 推荐(0)

2月7日

摘要： sparksql 今天开始学习sparksql，我害怕它是基于hive的如果要用到我的hive的话我觉得难度不小，由于我是笔记本我的IP地址是一直在变化的，我害怕连接不上hive Dataframe就是带有schema的RDD Dataframe和DataSet的区别: Dataframe是Dat 阅读全文

posted @ 2022-02-07 15:24 不咬牙阅读(80) 评论(0) 推荐(0)

2022年1月

1月29日

摘要： List分为两种: mutable immutable 默认使用的immutable List =list是不可变的， List集合注意事项： 1- List集合中长度和元素的值都不可变。 2- 数组是长度不能改变。 3- List中不可变的是：List 可变的是：ListBuffer 4- Lis 阅读全文

posted @ 2022-01-29 17:15 不咬牙阅读(29) 评论(0) 推荐(0)

1月28日

摘要： Scala中的集合：元组没有可变的，声明以后只能使用，不能修改。 1- 元组对象的关键字： tuple。 Tuple是一个类，是一个关键字。 2- 元组没有可变的，都是不可变的。 3- 没有可变的，声明以后只能使用，不能修改（tuple）。 4- 概念：一系列数据的集合，可以理解成array，但是阅读全文

posted @ 2022-01-28 15:56 不咬牙阅读(72) 评论(0) 推荐(0)

1月27日

摘要：方法中的返回值: 1- 方法中返回值的关键字是return 2- 方法中如果最后没有返回值类型不能使用return关键字。方法中没有返回值不能使用return关键字。方法中不添加return关键字，返回值类型会自己适配。 3- 方法中如果使用return关键字，方法中必须添加返回值类型。 sca 阅读全文

posted @ 2022-01-27 17:37 不咬牙阅读(94) 评论(0) 推荐(0)

1月26日

摘要：今天学习scala， if else 用法 1.If else具有返回值，重点。 2.如果有多个值的情况下，最后一行的返回值生效。 3.不加{ }只能适配一行内容。 4.如果两个分支，返回数据不一样，那么找寻最近的那个父类。 5 如果满足返回字符串，不满足可能返回Int类型，所以返回类型是Any类型阅读全文

posted @ 2022-01-26 22:57 不咬牙阅读(39) 评论(0) 推荐(0)

1月25日

摘要：我在想视频教程是怎么用idea写spark代码的，我需要去学习scala，先安装windows的scala，按照教程解压安装包，将放置路径写入环境变量。然后在本地cmd运行scala。然后想来配置idea的环境，按照教程，但是被Scala sdk难住了，我没有这个东西，查找资料后去官网下载，将路径阅读全文

posted @ 2022-01-25 18:37 不咬牙阅读(26) 评论(0) 推荐(0)

1月24日

摘要：分区算子：可以将RDD中的分区数量改变： 1-repartition (再分配) 可将分区数量变大变小：转换类算子示例： scala> val a=Array(1,2,34,4,5,6,7) a: Array[Int] = Array(1, 2, 34, 4, 5, 6, 7) scala> s 阅读全文

posted @ 2022-01-24 21:49 不咬牙阅读(99) 评论(0) 推荐(0)

1月23日

摘要： 11- countByKey:算子： ** 该算子先按照key分组再做count操作 ** 数据类型是K,V的RDD才能调用该算子 12- collectAsMap:算子： ** 该算子是将RDD的数据收集到Driver端，但是以Map的形式收集： ** 收集的RDD类型必须是： RDD[(key, 阅读全文

posted @ 2022-01-23 16:18 不咬牙阅读(70) 评论(0) 推荐(0)

1月22日

摘要： Action算子： 1-foreach:算子：一对一的遍历算子，主要用于打印,但是控制台上不会显示结果数据，数据在每个Executor中自己打印自己处理完的数据： scala> val a=Array(1,2,3,4,5,6) a: Array[Int] = Array(1, 2, 3, 4, 5 阅读全文

posted @ 2022-01-22 21:31 不咬牙阅读(132) 评论(0) 推荐(0)

公告