一y样

摘要： 来源：　https://blog.csdn.net/Wu000999/article/details/83550275 断点是最常用的软件调试技术之一,其基本思想是在某一个位置设置一个“陷阱”,当CPU执行到这个位置的时候停止被调试的程序并中断到调试器中,让调试者进行分析和调试,调试者分析结束后,可 阅读全文

摘要： 1.两种方式管理偏移量并将偏移量写入redis （1）第一种：rdd的形式 一般是使用这种直连的方式，但其缺点是没法调用一些更加高级的api，如窗口操作。如果想更加精确的控制偏移量，就使用这种方式 代码如下 KafkaStreamingWordCountManageOffsetRddApi pack 阅读全文

摘要： 1. Spark Streaming 1.1 简介（来源：spark官网介绍） Spark Streaming是Spark Core API的扩展，其是支持可伸缩、高吞吐量、容错的实时数据流处理。Spark Streaming的数据源可以为kafka，Flume，Kinesis或者是TCP sock 阅读全文

摘要： 1. Redis Redis是目前一个非常优秀的key-value存储系统（内存的NoSQL数据库）。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash（哈希类型）。 1.1 阅读全文

摘要： 阅读全文

摘要： 1. 练习 数据： （1）需求1：统计有过连续3天以上销售的店铺有哪些,并且计算出连续三天以上的销售额 第一步：将每天的金额求和（同一天可能会有多个订单） SELECT sid,dt,SUM(money) day_money FROM v_orders GROUP BY sid,dt View Co 阅读全文

摘要： 1. null值处理，子串，拼接，类型转换 （1） 空字段赋值（null值处理） 当表中的某个字段为null时，比如奖金，当你要统计一个人的总工资时，字段为null的值就无法处理，这个时候就可以使用NVL函数 NVL：给值为NULL的数据赋值，它的格式是NVL( string1, replace_w 阅读全文

摘要： 1. 分桶表以及分桶抽样查询 1.1 分桶表 对Hive(Inceptor)表分桶可以将表中记录按分桶键(某个字段对应的的值)的哈希值分散进多个文件中，这些小文件称为桶。 如要按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到 阅读全文

摘要： 1. hive的简介（具体见文档） Hive是分析处理结构化数据的工具 本质：将hive sql转化成MapReduce程序或者spark程序 Hive处理的数据一般存储在HDFS上，其分析数据底层的实现是MapReduce/spark，执行程序运行在Yarn上 其大致可以按如下图理解（具体可见HI 阅读全文

摘要： 1. 读取数据库的形式创建DataFrame DataFrameFromJDBC object DataFrameFromJDBC { def main(args: Array[String]): Unit = { // 创建SparkSession实例 val spark: SparkSessio 阅读全文