酱汁怪兽

摘要： 一、本地项目数据 1、新建工程log-time IDEA >Maven >Project SDK：1.8 version 1.8.0_152 >不选 Create from archetype >next >Groupid：com.imooc.bigdata >Artifactld：log-time 阅读全文

摘要： 一、Spring Data 官网：https://spring.io/projects/spring-data 一种数据访问技术、可访问关系数据库和非关系数据库、map-reduce框架以及基于云的数据服务。 二、Spring Data整合MySQL开发环境准备及实体类开发+spring boot 阅读全文

摘要： 数据清洗 添加依赖 jedis2.9.3 C:\Users\jieqiong\IdeaProjects\log-time\log-sss\pom.xml <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifact 阅读全文

摘要： 基于EventTime的窗口统计原理详解 10分钟一个窗口，5分钟更新一次 从12:00开始计算，隐藏之前的窗口 更新时间分别是：12:05、12:10、12:15、12:20 窗口（左闭右开区间））：12:00--12:10、12:05--12:15、12:10--12:20、12:15--12: 阅读全文

摘要： Spark Streaming的不足 1）基于ProcessingTime 在数据处理过程中，是有几个时间的： ProcessingTime vs EventTime 12:00:00 数据的真正产生时间 ：EventTime 12:01:10 进入Spark的时间 ：ProcessingTime 阅读全文

摘要： 常用Output操作 1）目前代码经过一系列复杂的操作后，结果是输出在控制台上的，仅测试使用。我们的结果是要写到一个地方去的。 2）官网：Spark Streaming - Spark 3.2.0 Documentation (apache.org) 3）输出操作，允许DStream数据，推送至外部 阅读全文

摘要： Spark Streaming核心概念 我们所谓的Spark Streaming做数据的实时处理，并不是一个真正的实时处理，是因为并非是来一条数据就处理一条数据。本质上Spark Streaming是将进来的数据流DStreams，按照我们指定的时间间隔，拆成了小批次数据，进行处理。其中每一个批次就 阅读全文

摘要： SQL语法规范 1）SQL语句可以单行、多行书写，以分号结尾。 2）使用空格和缩进来增强语句的可读性。 3）MySQL数据库的SQL语句不区分大小写，建议关键字使用大写。 关键字大写，可以增加SQL语句的执行效率。因为底层数据库会将小写的关键字转换为大写，再执行。 SELECT * FROM stu 阅读全文

摘要： 笔记地址 MySQL零基础入门之从青铜到钻石_慕课手记 (imooc.com) 数据库 1）数据库是存储数据的仓库。 其本质是一个文件系统，数据库按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。 理解：安装至电脑中的数据库，其实它是一个软件。这个软件里面又划分许 阅读全文

摘要： 正式开始：基于spark流处理框架的学习 使用Flume+Kafka+SparkStreaming进行实时日志分析：如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中。 Flume会实时监控写入日志的磁盘，只要有新的日志写入，Flume就会将日志以消息的形式传递给K 阅读全文