摘要： 概述 过程: 新建初始表, 增加开始时间, 结束时间, 两个字段 新建临时表, 包含开始时间, 与结束时间 修改初始表(旧表)中变化数据对应的结束时间后, 将初始表(旧表)数据插入到临时表中, 之后UNION ALL 当天的新增与变化数据. 将临时表覆盖初始表(或旧表)的数据 核心是生成临时表的两步: 只要修改旧表中变化数据的日期(当天日期-1) 然后UNION ALL 当天变化和新... 阅读全文

摘要： 使用set去重的问题: 只要用到set就需要完整的数据集, 大量数据会导致OOM 大数据去重的唯一解决方案是布隆过滤器 [详解布隆过滤器的原理]( https://zhuanlan.zhihu.com/p/43263751) 计算bloom filter误判率 阅读全文

摘要： 推荐系统的分类根据不同分类原则可以对推荐系统进行分类.根据实时性分类:离线推荐实时推荐根据是否个性化分类基于统计推荐(热门推荐, 每个用户的推荐内容一样)基于个性化推荐根据原则分类基于相似性的推荐根据相似的人, 或内容进行推荐基于知识的推荐事先设定推荐规则基于模型的推荐通过机器学习发掘规则, 进行推荐根据数据源分类基于人口统计学的推荐用户数据, 一般难以获取基于内容的推荐基于协同过滤的推荐(用户与... 阅读全文

摘要： resources文件夹中的文件不会经过编译, 但是会和编译后的字节码文件打包到jar包中. 获取resources文件夹中的文件的路径方法: String filePath = this.getClass().getClassLoader().getResource("文件名").getPath(); 阅读全文

摘要： 在flink中设置事件时间时需要将时间的表示转换为毫秒 如果不需要转换 def main(args: Array[String]): Unit = { // ... env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) // 将时间特性设置为事件时间 env.setParallelism(1) ... 阅读全文

摘要： REDIS缓存穿透，缓存击穿，缓存雪崩原因+解决方案 - 大码哥 - 博客园 https://www.cnblogs.com/xichji/p/11286443.html 阅读全文

摘要： fastjson虽然快但常常出现bug. 阅读全文

摘要： 例如在scala中的oject写个方法返回一个字符串. 该方法在java代码中使用. 好处: scala支持多行字符, 以及字符串插值 Scala和Java方法的相互调用https://blog.csdn.net/u010398771/article/details/78885009 阅读全文

摘要： 缓存的作用, 避免行动算子导致之前的转换算子重复计算(尤其是之前的转换算子中存在副作用) SparkCache的几点思考https://blog.csdn.net/qq_27639777/article/details/82319560 阅读全文

摘要： They are actually different with regards to where you can use them. A.class works at compile time while a.getClass() requires an instance of type A and works at runtime. The .class Syntax... 阅读全文