摘要：
1、为什么要使用树结构 将数据使用树结构存储后，出奇的高效。 2、常用的数结构 二分搜索树（Binary Search Tree） 平衡二叉树： AVL； 红黑树 堆； 并查集 线段树； Trie（字典树，前缀树） 3、二叉树 和链表一样，动态数据结构 对于每一个节点，最多有两个孩子。 二叉树具有唯 阅读全文
posted @ 2021-02-11 21:17 work hard work smart 阅读(163) 评论(0) 推荐(0)
摘要：
一、Leetcode中与链表向操作 203. 移除链表元素 删除链表中等于给定值 val 的所有节点。 示例: 输入: 1->2->6->3->4->5->6, val = 6 输出: 1->2->3->4->5 https://leetcode-cn.com/problems/remove-lin 阅读全文
posted @ 2021-02-11 10:41 work hard work smart 阅读(116) 评论(0) 推荐(0)
摘要：
1、改进的链表（增加tail） 增加tail，指向链表尾部节点。这样在head和tail添加节点都很容易。 从tail端删除节点并不容易，因为无法找到tail之前的那个节点。在head端删除节点容易。 根据以上特性， head端作为队首， tail端最为队尾。 从head端删除元素，从tail端插入 阅读全文
posted @ 2021-02-09 10:57 work hard work smart 阅读(207) 评论(0) 推荐(0)
摘要：
从上一篇博客链表( 自定义链表)知道，链表如果增删只对链表头操作O(1), 查找链表头元素O(1) ，这样的操作符合栈这个数据结构。 下面我们使用自定义链表实现自定义栈 1、前面定义的栈接口 public interface IStack<E> { int getSize(); boolean is 阅读全文
posted @ 2021-02-08 23:33 work hard work smart 阅读(201) 评论(0) 推荐(0)
摘要：
1、什么是链表？ 数据存储在“节点”(Node)中 Class Node{ E e; Node next; } 有点： 真正的动态，不需要处理固定容量的问题。 缺点： 和数组相比，丧失了随机访问的能力。 2、数组和链表的对比 数组最好用于索引有语义的情况，如scores[101], 学号为101的学 阅读全文
posted @ 2021-02-08 22:59 work hard work smart 阅读(346) 评论(0) 推荐(0)
摘要：
1、什么是队列 队列也是一种线性结构 相比数组，队列对应的操作是数组的子集 只能从一端(队尾)添加元素，只能从另一端(队首)取出元素。 队列是一种先进先出的数据结构( 先到先得) First In First Out（FIFO） 2、自定义队列 1) 定义接口 public interface IQ 阅读全文
posted @ 2021-02-07 22:18 work hard work smart 阅读(210) 评论(0) 推荐(0)
摘要：
1、什么是栈 栈也是一种线性结构， 相比数组，栈对应的操作是数组的子集 只能从一端添加元素，也只能从一端取出元素 这一端称为栈顶 栈是一种后进先出的数据结构。 2、栈的应用 1) 编辑器无处不在的Undo操作(撤销) 2) 程序调用的系统栈 函数A中调用函数B，函数B中调用函数C。 如果C函数执行完 阅读全文
posted @ 2021-02-07 13:50 work hard work smart 阅读(143) 评论(0) 推荐(0)
摘要：
数组的定义，参考Java 数组 数组的使用 1、定义一个数组 //必须初始化数组的长度，这里为10 int[] arr = new int[10]; for(int i = 0;i < arr.length; i++){ arr[i] = i; } //设置初始值 int[] score = new 阅读全文
posted @ 2021-02-07 09:26 work hard work smart 阅读(348) 评论(0) 推荐(0)
摘要：
一、Spark下载 进入官网下载需要的版本： http://archive.apache.org/dist/spark/ 官网下载地址太慢，建议在Apache国内镜像下载 地址1：http://mirror.bit.edu.cn/apache/ 地址2：https://mirrors.tuna.ts 阅读全文
posted @ 2021-02-04 15:38 work hard work smart 阅读(200) 评论(0) 推荐(0)
摘要：
一、Spark SQL介绍 1、为什么需要SQL 1) 事实上的标准 2) 易学易用 3) 受众面大 2、Shark（已经停止维护，不建议在生产上使用。） Shark产生的目的就是为了让hive跑在spark之上。 Hive： 类似于sql的Hive QL语言， sql 翻译成 mapreduce 阅读全文
posted @ 2021-02-03 16:29 work hard work smart 阅读(165) 评论(0) 推荐(0)
摘要：
Spark是一个快速且通用的集群计算平台 1、Spark概述及特点 1) Speed： 速度。执行速度快，开发速度提高了很多。 Spark扩充了流行的MapReduce计算模型 Spark是基于内存的计算。 2) Ease of User： 易用。支持多种语言,如Python，Java，Scala等 阅读全文
posted @ 2021-02-03 13:37 work hard work smart 阅读(385) 评论(0) 推荐(0)
摘要：
1、创建表 create table hive_wordcount(context string); 2、查看表 show tables; 3、查询表数据 4、查看刚才创建的Mysql数据库sparksql的表TBLS，可以发现已经有1条记录了，TBL_NAME 为hive_wordcount 从C 阅读全文
posted @ 2021-02-02 23:12 work hard work smart 阅读(181) 评论(0) 推荐(0)
摘要：
1、Hive是什么 由Facebook开源，最初用于解决海量结构化的日志数据统计问题。 构建在Hadoop之上的数据仓库 Hive定义了一种类SQL查询语言： HQL（类似SQL但不完全相同） 通常用于进行离线数据处理（采用MapReduce） 底层支持多种不同的执行引擎（包括MapReduce、T 阅读全文
posted @ 2021-02-02 21:12 work hard work smart 阅读(187) 评论(0) 推荐(0)
摘要：
1、YARN架构 图片来自： https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/YARN.html 1个RN（ResourceManager）和多个NM(NodeManager) ResourceManager职责： 阅读全文
posted @ 2021-01-31 23:09 work hard work smart 阅读(205) 评论(0) 推荐(0)
摘要：
这里简单介绍下MapReduce 1、什么是MapReduce 1、源自Google的MapReduce论文 2、发表于2004年12月，Hadoop MapReduce是Google MapReduce的克隆版 2、MapReduce特点 易于编程 良好的扩展性 高容错性 海量数据的离线处理 3、 阅读全文
posted @ 2021-01-31 12:20 work hard work smart 阅读(204) 评论(0) 推荐(0)
摘要：
HBase安装 HBase下载：http://archive.apache.org/dist/hbase/ 我这里下载的是hbase-1.1.0-bin.tar.gz 1) 解压： tar -zxvf hbase-1.1.0-bin.tar.gz 2) 配置JDK /root/tools/hbase 阅读全文
posted @ 2021-01-30 23:10 work hard work smart 阅读(165) 评论(0) 推荐(0)
摘要：
一、什么是大数据 专业咨询公司IDC对大数据特征的定义： 4V 1、数据量（Volume）： TB，PB级别以上。 2、多样性，复杂性（Variety）: 结构化数据(关系型数据库），文件，视频，音频、图像，地理位置 3、基于高度分析的新价值（Value）： 价值密度比较低，比如1个小时的视频，只有 阅读全文
posted @ 2021-01-30 19:20 work hard work smart 阅读(508) 评论(0) 推荐(0)
摘要：
一、基本概念 1、Stream是一个高级的迭代器，不是数据结构，不是一个集合，不会存放数据。关注的是数据高效的处理，数据在一个流水线中执行。 2、外部迭代和内部迭代 public class StreamDemo1 { public static void main(String[] args) { 阅读全文
posted @ 2021-01-18 13:35 work hard work smart 阅读(292) 评论(0) 推荐(0)
摘要：
一、logstash安装 logstash作为kafka日志的消费者 1、将文件上传到服务器/home/tools路径下 tar -zxvf logstash-7.4.2.tar.gz -C /usr/local/ 进入/usr/local/logstash-7.4.2，查看文件 2、创建scrip 阅读全文
posted @ 2021-01-14 16:33 work hard work smart 阅读(703) 评论(0) 推荐(0)
摘要：
一、设计 1、海量日志收集架构设计(ELK) Beats: 主要用于收集日志 Filebeat： 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用Filebeat将收集过来数据转储到Kafka） Logstash： 对日志进行过滤。对过滤的数据存储到Elasticsearch Kibana 阅读全文
posted @ 2021-01-14 13:48 work hard work smart 阅读(626) 评论(0) 推荐(0)
浙公网安备 33010602011771号