Mr-Sponge

介绍 val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.toDebugString) println(" ") val wordRDD: RDD[String] = fileRDD.flatMap(_.spli Read More

Spark的算子分为两大类：transform（转换算子）和action（行动算子） transform算子：map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、r Read More

题目需求 根据用户登录明细表（user_login_detail），求出平台同时在线最多的人数。 结果如下： | cn | | : : | | 7 | 需要用到的表： 用户登录明细表：user_login_detail | user_id(用户id) | ip_address(ip地址) | log Read More

Hive Hive中文手册 思考： Hive的架构原理 Hive和数据库的比较 几种访问方式的不同 1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张表，并提供类SQL查询功能。 Hive本质是将HQL转换成MapReduce Hive处理的数据存储 Read More

拉链表 什么是拉链表？ ​ 拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效的开始日期。（就是在原来表的基础上，加上创建时间/开始时间/操作时间/结束时间，能保证看出记录的变化过程就行了） 如果当前消息至今有效，在生效结束日期中填入一个极大值（ Read More

目录SQL 一：查询累积销量排名第二的商品SQL 二：查询至少连续三天下单的用户SQL 三：查询各品类销售商品的种类数及销量最高的商品SQL 四：查询用户的累计消费金额及VIP等级SQL 五：查询首次下单后第二天连续下单的用户比率SQL 六：每个商品销售首年的年份、销售数量和销售金额SQL 七：筛选 Read More

在Flink中，水位线可大致分为乱序流水位线和有序流水位线。实际开发中用的最多的就是乱序流水位线 在此之前，你已了解Flink在分布式环境下Watermark的传播方式 Flink官方提供的设置水位线的方法有Source之前和Source之后，这里主要介绍Source之后的方法 默认方法 通过ass Read More

首先要知道Flume中的Event是由Header + Body组成的。 Flume支持在运行时对Event进行修改或丢弃，可以通过拦截器来实现。Flume里面的拦截器是实现了 org.apache.flume.interceptor.Interceptor 接口的类。拦截器可以根据开发者的意图随意 Read More

Shell是一个命令解释器，它接收应用程序/用户命令，然后调用操作系统内核。 Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。 https://blog.csdn.net/Jackson00709/article/details/106086756 Shell概述 shell是一 Read More

一、Linux入门 基于Linux(CentOS6.9)。 1.1 概述 ​ Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。 Read More