2020年3月9日
分数排名
摘要： 编写一个 SQL 查询来实现分数排名。如果两个分数相同，则两个分数排名（Rank）相同。请注意，平分后的下一个名次应该是下一个连续的整数值。换句话说，名次之间不应该有“间隔”。 + + +| Id | Score |+ + +| 1 | 3.50 || 2 | 3.65 || 3 | 4.00 || 阅读全文
posted @ 2020-03-09 14:01 盛夏群岛 阅读(312) 评论(0) 推荐(0)
第N高的薪水
摘要： 编写一个 SQL 查询，获取 Employee 表中第 n 高的薪水（Salary）。 + + +| Id | Salary |+ + +| 1 | 100 || 2 | 200 || 3 | 300 |+ + + 例如上述 Employee 表，n = 2 时，应返回第二高的薪水 200。如果不存 阅读全文
posted @ 2020-03-09 13:31 盛夏群岛 阅读(286) 评论(0) 推荐(0)
2020年3月8日
转载《JVM原理最全、清晰、通俗讲解，五天40小时吐血整理》（二）
摘要： 原文链接https://blog.csdn.net/csdnliuxin123524/article/details/81303711 类加载器子系统（class loader subsystem）：(1)根据给定的全限定名类名(如java.lang.Object)来装载class文件的内容到Run 阅读全文
posted @ 2020-03-08 14:19 盛夏群岛 阅读(267) 评论(0) 推荐(0)
转载《JVM原理最全、清晰、通俗讲解，五天40小时吐血整理》（一）
摘要： 原文链接https://blog.csdn.net/csdnliuxin123524/article/details/81303711 1.java自动管理堆（heap）和（栈），程序员不能直接设置堆和栈。 2.操作系统的堆和栈： 堆（操作系统）：一般由程序员分配释放，若程序员不释放，可能会导致内存 阅读全文
posted @ 2020-03-08 14:17 盛夏群岛 阅读(204) 评论(0) 推荐(0)
转载《详细介绍Java垃圾回收机制》
摘要： 原文链接https://www.cnblogs.com/laoyangHJ/articles/java_gc.html 垃圾收集GC（Garbage Collection）是Java语言的核心技术之一，之前我们曾专门探讨过Java 7新增的垃圾回收器G1的新特性，但在JVM的内部运行机制上看，Jav 阅读全文
posted @ 2020-03-08 12:01 盛夏群岛 阅读(146) 评论(0) 推荐(0)
2020年3月6日
hdfs关键流程分析
摘要： 数据块大小 理论上，磁盘传输速率越快，则块应该越大。因为磁盘传输速率变快，则传输时间变短，而传输时间和块的寻址时间要满足一个固定的比率，则应维持原来的传输时间，只有把块加大。 数据块过小：则寻址时间超出了传输的时间，不够经济； 数据块过大：则传输时间太长，程序的io时间耗费过多。 问题：128M是指 阅读全文
posted @ 2020-03-06 12:39 盛夏群岛 阅读(166) 评论(0) 推荐(0)
2020年3月5日
SparkStreaming(三)——自定义数据源
摘要： 从socketTextStream说起查看socketTextStream源码 def socketTextStream( hostname: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_S 阅读全文
posted @ 2020-03-05 17:37 盛夏群岛 阅读(721) 评论(0) 推荐(0)
SparkSQL(一)——概述
摘要： 什么是sparksql 它是RDD与sql语句的结构体。RDD在底层提供了分布式的数据访问接口，而sql语句在上层提供了编写程序的方式。它兼具了RDD访问速度快、访问数据量大和sql语句易于开发的双重特点，专门用于访问结构化的数据。sql语句在底层转换成RDD，类似于hql语句在底层转换成mr程序， 阅读全文
posted @ 2020-03-05 15:57 盛夏群岛 阅读(244) 评论(0) 推荐(0)
SparkStreaming(二)——wordcount
摘要： 需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 前期准备 1）消除idea控制台过多的日志信息 1.到spark/conf目录下，将log4j.properties.template文件下载到本地，重命名为log4j.pr 阅读全文
posted @ 2020-03-05 15:07 盛夏群岛 阅读(264) 评论(0) 推荐(0)
apply方法
摘要： class ApplyOperation { } class ApplyTest{ def apply() = println("I am into spark so much!!!")//定义的是普通对象的apply方法 def haveATry: Unit ={ println("have a 阅读全文
posted @ 2020-03-05 15:02 盛夏群岛 阅读(628) 评论(0) 推荐(0)