06 2020 档案

摘要:流处理,对kafka产生的数据流进行处理: val lines = kafkaStream.flatMap { batch => batch.value().split("\n") } // 用正则匹配将日志格式化,并同时完成日期时间转时间戳 val simpleDateFormat = new S 阅读全文
posted @ 2020-06-30 17:40 随意无心 阅读(648) 评论(0) 推荐(0)
摘要:case class 1. 初始化的时候可以不加new,这条基本没什么用 2. 默认实现了equals 和 hashCode方法。 3. 默认是可以序列化的,也就是实现了Serializable 4. 自动从scala.Product中继承了一些函数。 5. case class 构造函数是publ 阅读全文
posted @ 2020-06-30 13:27 随意无心 阅读(320) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2020-06-24 22:36 随意无心 阅读(110) 评论(0) 推荐(0)
摘要:首先下载maven.也可以用idea自带的maven。 新建scala的maven项目。 可以将本地的scalasdk加入到项目中。 但是在引入plugin的时候,会遇到下面的问题: 这是因为scala项目默认的scala版本是2.7,需要将它改为本地的scala版本(采用scala -versio 阅读全文
posted @ 2020-06-22 19:02 随意无心 阅读(274) 评论(0) 推荐(0)
摘要:首先先看一个helloworld程序: 和java很像,包含了一个main函数。main函数接受一个string数组作为输入,函数体调用了println函数。main函数没有返回值,因此它的返回值被声明为Unit。 和Java有点儿不一样的是object这个关键字。这个关键字代表这个类只能有一个实例 阅读全文
posted @ 2020-06-19 10:23 随意无心 阅读(305) 评论(0) 推荐(0)
摘要:首先安装了Hadoop后,由于是windows系统,需要重新覆盖Bin目录。从下面的网址寻找与自己版本相称的bin目录: https://github.com/cdarlint/winutils 接着就是配置四个xml文件了。 按照下面这个博客即可: https://www.jianshu.com/ 阅读全文
posted @ 2020-06-18 22:09 随意无心 阅读(264) 评论(0) 推荐(0)
摘要:由于windows上面安装spark多灾多难,只好使用虚拟机。下面介绍一下如何使用hyper-v安装manjaro-xfce。 首先先去manjaro官网下载对应的iso镜像。 然后就是创建虚拟机了。这一部分步骤均按照流程来即可。 需要注意的是,在启动它之前,需要到该虚拟机的设置里面,把Enable 阅读全文
posted @ 2020-06-17 15:02 随意无心 阅读(2213) 评论(0) 推荐(0)
摘要:首先,先安装jdk.我安装的是jdk14.下载界面如下所示: 接下来配置path,java_home两个环境变量即可。 接下来安装scala 我安装的scala是2.13.2版本。 接下来安装hadoop 阅读全文
posted @ 2020-06-13 21:57 随意无心 阅读(122) 评论(0) 推荐(0)
摘要:这是一个测试! 阅读全文
posted @ 2020-06-01 10:39 随意无心 阅读(40) 评论(0) 推荐(0)