02 2022 档案
摘要:今天复习了scala的函数式编程 函数式编程 1 函数基础 1.1 函数基本语法 1)基本语法 2)案例实操 需求:定义一个函数,实现将传入的名称打印出来。 def main(args: Array[String]): Unit = { // (1)函数定义 def f(arg: String):
阅读全文
摘要:今天复习了scala语言的函数式编程。 函数至简原则:能省则省 1)至简原则细节 (1)return 可以省略,Scala 会使用函数体的最后一行代码作为返回值 (2)如果函数体只有一行代码,可以省略花括号 (3)返回值类型如果能够推断出来,那么可以省略(:和返回值类型一起省略) (4)如果有 re
阅读全文
摘要:今天继续学习sparksql的核心编程 在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口,创建 DataFrame 有三种方式:通过 Spark 的数据源进行创建;从一个存在的 RDD 进行转换;还可以从 Hive Table 进行查询返回。
阅读全文
摘要:今天学习sparksql。 sparksql的特点: 1.易整合 无缝的整合了 SQL 查询和 Spark 编程 2.统一的数据访问 使用相同的方式连接不同的数据源 3.兼容 Hive 在已有的仓库上直接运行 SQL 或者 HiveQL 4.标准数据连接 通过 JDBC 或者 ODBC 来连接 Da
阅读全文
摘要:今天上课阅读了架构漫谈前四篇,初步了解了软件架构定义和意义。 1、 什么是架构? 答:架构是一个项目的整体划分为不同的部分,每个部分由不同的角色完成,并能够实现不同部分的沟通,从而将不同部分有机结合为整体,完成项目整体所需要完成的任务。 2、 为什么要出现架构? 答:架构是为了更加高效的完成项目产生
阅读全文
摘要:阅读王概凯的架构漫谈,也有一些自己的感受 作为软件工程师或者架构师,我们大部分时候是要去解决别人的问题,“别人”是谁,是值得好好思考的。当问题的主体离架构师越远,就会让找出问题主体的过程越加困难,我们再举一个软件行业比较熟悉的例子:用户给产品经理提出要求,想要一把锤子。这是典型的拿解决方案作为问题的
阅读全文
摘要:最近使用虚拟机提示磁盘控件不足,所以上网查询了如何进行磁盘扩容,这里分享一下个人磁盘扩容的经验 磁盘扩容我是使用了linux LVM技术,即磁盘扩容技术。 首先打开vmware编辑虚拟机设置 进入后点击添加 之后操作如图: 选择磁盘下一步 使用推荐的就可以 直接下一步 设置想要扩容磁盘的大小,这里我
阅读全文

浙公网安备 33010602011771号