06 2020 档案

streaming
摘要：流处理，对kafka产生的数据流进行处理： val lines = kafkaStream.flatMap { batch => batch.value().split("\n") } // 用正则匹配将日志格式化，并同时完成日期时间转时间戳 val simpleDateFormat = new S 阅读全文
posted @ 2020-06-30 17:40 随意无心 阅读(648) 评论(0) 推荐(0)
scala的一些重点语法
摘要：case class 1. 初始化的时候可以不加new，这条基本没什么用 2. 默认实现了equals 和 hashCode方法。 3. 默认是可以序列化的，也就是实现了Serializable 4. 自动从scala.Product中继承了一些函数。 5. case class 构造函数是publ 阅读全文
posted @ 2020-06-30 13:27 随意无心 阅读(320) 评论(0) 推荐(0)
记一次idea运行spark程序Exception
摘要： 阅读全文
posted @ 2020-06-24 22:36 随意无心 阅读(110) 评论(0) 推荐(0)
idea-scala-maven-spark项目的构建
摘要：首先下载maven.也可以用idea自带的maven。 新建scala的maven项目。 可以将本地的scalasdk加入到项目中。 但是在引入plugin的时候，会遇到下面的问题： 这是因为scala项目默认的scala版本是2.7,需要将它改为本地的scala版本（采用scala -versio 阅读全文
posted @ 2020-06-22 19:02 随意无心 阅读(274) 评论(0) 推荐(0)
学习scala文档
摘要：首先先看一个helloworld程序： 和java很像，包含了一个main函数。main函数接受一个string数组作为输入，函数体调用了println函数。main函数没有返回值，因此它的返回值被声明为Unit。 和Java有点儿不一样的是object这个关键字。这个关键字代表这个类只能有一个实例 阅读全文
posted @ 2020-06-19 10:23 随意无心 阅读(305) 评论(0) 推荐(0)
windows10上面安装hadoop
摘要：首先安装了Hadoop后，由于是windows系统，需要重新覆盖Bin目录。从下面的网址寻找与自己版本相称的bin目录： https://github.com/cdarlint/winutils 接着就是配置四个xml文件了。 按照下面这个博客即可： https://www.jianshu.com/ 阅读全文
posted @ 2020-06-18 22:09 随意无心 阅读(264) 评论(0) 推荐(0)
利用Hyper-v安装manjaro-xfce
摘要：由于windows上面安装spark多灾多难，只好使用虚拟机。下面介绍一下如何使用hyper-v安装manjaro-xfce。 首先先去manjaro官网下载对应的iso镜像。 然后就是创建虚拟机了。这一部分步骤均按照流程来即可。 需要注意的是，在启动它之前，需要到该虚拟机的设置里面，把Enable 阅读全文
posted @ 2020-06-17 15:02 随意无心 阅读(2213) 评论(0) 推荐(0)
安装spark
摘要：首先，先安装jdk.我安装的是jdk14.下载界面如下所示： 接下来配置path,java_home两个环境变量即可。 接下来安装scala 我安装的scala是2.13.2版本。 接下来安装hadoop 阅读全文
posted @ 2020-06-13 21:57 随意无心 阅读(122) 评论(0) 推荐(0)
测试
摘要：这是一个测试！ 阅读全文
posted @ 2020-06-01 10:39 随意无心 阅读(40) 评论(0) 推荐(0)