郭小白

摘要： 双向链表 上文中详解了单向链表， 本节主要针对双向链表的原理、优缺点以及各个操作进行讲解。 双向链表对于单项链表来说，它支持两个方向，每个结点不止有一个后继指针next指向后面的结点，而且还有一个前驱指针prev指向前面的结点，结合图来看看： 从图中可以看出，双向链表需要额外的两个空间来存储后继结点 阅读全文

摘要： 一、数组的概念 定义：数组（Array）是一种线性表数据结构。它用一组连续的内存空间，来存储一组具有相同类型的数据。 从概念中可以知道一下几点： 数组是线性表。 所谓的线性表就是数据排成一排，想一条线一样的结构。每个线性表上的数据最多只有前和后两个方向。当然除了数组，链表、队列、栈等也是线性表结构 阅读全文

摘要： 链表是一种用于存储数据集合的数据结构。链表有以下几个属性： 相邻元素之间通过指针进行连接 最后一个元素的后继指针值为NULL 在程序执行的过程中，链表的长度可以增加或缩小 链表的空间能够按需分配(直到系统内存耗尽) 没有内存空间的浪费(但是链表中的指针需要一些额外的内存开销) 一、链表的分类 链表大 阅读全文

摘要： #!/usr/bin/env bash ############################### # 脚本名称 : userManager.sh # # 脚本功能 : 账号管理 # # 脚本参数 : 无 # # 创建时间 : 2019-07-25 # # 作 者 : Mr.Guo # # 版 ... 阅读全文

摘要： UDF： 一、编写udf类，在其中定义udf函数 package spark._sql.UDF import org.apache.spark.sql.functions._ /** * AUTHOR Guozy * DATE 2019/7/18-9:41 **/ object udfs { def 阅读全文

摘要： 分析函数的应用场景： （1）用于分组后组内排序 （2）指定计算范围 （3）Top N （4）累加计算 （5）层次计算 分析函数的一般语法： 分析函数的语法结构一般是： 分析函数名(参数) over (子partition by 句 order by 字句 rows/range 字句) 1、分析函数名 阅读全文

摘要： 一、计算指定日期的前一天的日期 date -d "yesterday 20150401 " +%Y%m%d 二、如果获取当前日期的前一天 date -d "yesterday" +%Y%m%d 三、计算指定日期的前几天（例如计算20190716的前10天）,如果是负数的话，则会往前数 date -d 阅读全文

摘要： spark版本：1.6.0 scala版本：2.10 报错日志： Application application_1562341921664_2123 failed 2 times due to AM Container for appattempt_1562341921664_2123_00000 阅读全文

摘要： 在spark中，框架默认使用的事hashPartitioner分区器进行对rdd分区，但是实际生产中，往往使用spark自带的分区器会产生数据倾斜等原因，这个时候就需要我们自定义分区，按照我们指定的字段进行分区。具体的流程步骤如下： 1、创建一个自定义的分区类，并继承Partitioner，注意这个 阅读全文

摘要： idea使用maven插件打jar包步骤以及遇到的问题 一、在pom中添加插件，直接复制就好，如下选项 注意：关于插件中这个地方需要注意一下： 这里分为两种情况 a.打包scala程序 如果只是打包scala程序的话，这里代表的是主函数的方法名，一定是全路径名(包名+类名) jar包运行方式：jav 阅读全文