2020年8月
关键路径
摘要： 关键路径是图论中的一个重点。 先介绍理想情况。一个有向无环图，顶点代表事件，事件有自己的持续时间。边没有权值。有向边只代表一个逻辑关系。 下面介绍一个表示方式： ES，代表最早开始时间， DU，代表事件的持续时间。 EF，最早结束时间。 LS，最晚开始时间。 TF，浮动时间。 LF，最晚结束时间。 阅读全文
posted @ 2020-08-18 09:07 随意无心 阅读(489) 评论(0) 推荐(0)
百鸡问题
摘要： 题面如下： 解法也很简单，只要两层for循环就行。 两层for循环，第一层可以是大鸡的个数，从0开始，小于等于100;也可以是1/3每只的小鸡，从100开始，大于等于0； 为了减少循环的次数，可以在确定了大鸡的数目或小鸡的数目时，做一个判断。看循环下去是否有解。 记大鸡数目为x，那么只要(n-5*x 阅读全文
posted @ 2020-08-07 16:09 随意无心 阅读(421) 评论(0) 推荐(0)
leetcode题库第三题---无重复字符的最长子串
摘要： 这道题是要求我们求出一个字符串中最大的子串长度，并且这个子串还要满足没有重复字符。 题目要求中最重要的是子串这个概念。子串是从原串上截取的一段，一定是连续的。 这道题运用到了滑动窗口的方法。滑动窗口的思想就是，我们维护一个滑动窗口，保证这个窗口中的字符各不相同，这个窗口是由一个start指针和end 阅读全文
posted @ 2020-08-01 09:14 随意无心 阅读(152) 评论(0) 推荐(0)
2020年7月
基础的几种算法总结
摘要： 首先是两种排序方法，归并排序和快速排序。 归并排序的思想就是分治，分而治之，分的策略是：将一个数组从中间切开，左右两部分继续对半分，直到分到只包含一个元素即可。 合的策略是：将两个各自排好序的数组合并为一个新的排好序的数组。为什么说两个数组是各自排好序的呢？从最小的单元--一个元素看起，显然是有序的 阅读全文
posted @ 2020-07-30 22:13 随意无心 阅读(342) 评论(0) 推荐(0)
DataFrame DataSet Spark SQL学习
摘要： RDD加上结构，比如说类名，就可以变成DataFrame,DataFrame，将每一类同这一类的类名绑定在一起就可以称为DataSet. spark sql 就是来处理dataframe和dataset这样的结构数据的。 spark sql使用的时候需要提供spark session环境。 // S 阅读全文
posted @ 2020-07-01 18:30 随意无心 阅读(175) 评论(0) 推荐(0)
RDD学习
摘要： 首先介绍一下RDD. RDD是spark中最基础的逻辑抽象，代码中是一个抽象类。它代表不可变，可分区，里面的元素可并行计算的集合。 不可变代表RDD作为计算逻辑的一部分，绝对不允许被修改。 可分区代表，RDD作为承载数据流的类型，必须要在大数据时代实现并行处理的前提条件 分区。 里面的元素可并行计算 阅读全文
posted @ 2020-07-01 18:17 随意无心 阅读(148) 评论(0) 推荐(0)
2020年6月
streaming
摘要： 流处理，对kafka产生的数据流进行处理： val lines = kafkaStream.flatMap { batch => batch.value().split("\n") } // 用正则匹配将日志格式化，并同时完成日期时间转时间戳 val simpleDateFormat = new S 阅读全文
posted @ 2020-06-30 17:40 随意无心 阅读(648) 评论(0) 推荐(0)
scala的一些重点语法
摘要： case class 1. 初始化的时候可以不加new，这条基本没什么用 2. 默认实现了equals 和 hashCode方法。 3. 默认是可以序列化的，也就是实现了Serializable 4. 自动从scala.Product中继承了一些函数。 5. case class 构造函数是publ 阅读全文
posted @ 2020-06-30 13:27 随意无心 阅读(320) 评论(0) 推荐(0)
记一次idea运行spark程序Exception
摘要： 阅读全文
posted @ 2020-06-24 22:36 随意无心 阅读(110) 评论(0) 推荐(0)
idea-scala-maven-spark项目的构建
摘要： 首先下载maven.也可以用idea自带的maven。 新建scala的maven项目。 可以将本地的scalasdk加入到项目中。 但是在引入plugin的时候，会遇到下面的问题： 这是因为scala项目默认的scala版本是2.7,需要将它改为本地的scala版本（采用scala -versio 阅读全文
posted @ 2020-06-22 19:02 随意无心 阅读(274) 评论(0) 推荐(0)
下一页