随笔分类 - 课程
摘要：（一）前言 最近新的项目使用到了Swagger进行接口测试，在实体类上使用到了两个注解，一个是ApiModel注解，还有一个是ApiModelProperty注解，今天就一起学习下这两个注解的用处、属性以及具体的使用。 （二）什么是 ApiModel 注解和 ApiModelProperty 注解
阅读全文
摘要：Foreword Before writing this article, I wrote some history of big data components and some of its evaluations intermittently, but I didn't feel satisf
阅读全文
摘要：一、数仓架构发展史 1.发展史 时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。 时间就是一把尺子，它能
阅读全文
摘要：一、技术生态 1.初步 Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。 按理来说，这就足够了，就可以完成大数据分析了。 但第一个问题就是麻烦。这一套相当于用Yarn调度资源，读取HDFS文件内容进行MR计算。要写Jav
阅读全文
摘要：1、Semaphore 是什么 Semaphore 通常我们叫它信号量， 可以用来控制同时访问特定资源的线程数量，通过协调各个线程，以保证合理的使用资源。 可以把它简单的理解成我们停车场入口立着的那个显示屏，每有一辆车进入停车场显示屏就会显示剩余车位减1，每有一辆车从停车场出去，显示屏上显示的剩余车
阅读全文
摘要：1.查看监听中的（占用）端口 netstat命令 netstat命令可提供网络连接相关的信息。想要查看所有监听中的TCP或UDP端口，包含使用端口和套接字状态的服务，可使用如下命令 sudo netstat -tunlp 命令中的选项参数有如下含义 -t -显示TCP端口。 -u -显示UDP端口。
阅读全文
摘要：（二）DataStream API DataStream是Flink编写流处理作业的API。我们前面说过一个完整的Flink处理程序应该包含三部分：数据源(Source)、转换操作(Transformation)、结果接收(Sink)。下面我们从这三部分来看DataStream API。 （五）结果
阅读全文
摘要：（二）DataStream API DataStream是Flink编写流处理作业的API。我们前面说过一个完整的Flink处理程序应该包含三部分：数据源(Source)、转换操作(Transformation)、结果接收(Sink)。下面我们从这三部分来看DataStream API。 addSo
阅读全文
摘要：Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景。 说好的流批一体呢 现状 Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10
阅读全文
摘要：准备工作 Java环境 Kafka安装包（已包含zookeeper） 安装步骤 1 Java安装 自行百度 2 下载、安装Kafka 打开 下载地址 选择下图红框中的版本，Kafka包名组成： Scala版本 - Kafka自身版本 下载完成之后解压，目录如下图： 3 启动服务 3.1 启动ZooK
阅读全文
摘要：（一）Flink的并发执行 ，一个Flink程序可以由不同的task(如:transformations/opterators,data sources及data sinks等)组成，一个task会分发到多个并发实例中运行，并且每个并发实例处理task的部分输入数据集。一个task的并发实例数叫做p
阅读全文
摘要：（二）DataStream API DataStream是Flink编写流处理作业的API。我们前面说过一个完整的Flink处理程序应该包含三部分：数据源(Source)、转换操作(Transformation)、结果接收(Sink)。下面我们从这三部分来看DataStream API。 （四）数据
阅读全文
摘要：一、题目 给定一个长度为 n 的整数数组 height 。有 n 条垂线，第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。 返回容器可以储存的最大水量。 说明：你不能倾斜容器。 二、思路 我们移动 数字
阅读全文
摘要：一、题目 给你一个整数 x ，如果 x 是一个回文整数，返回 true ；否则，返回 false 。 回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。 例如，121 是回文，而 123 不是。 二、思路 由于整个过程我们不断将原始数字除以 10，然后给反转后的数字乘上 10，所以，当原
阅读全文
摘要：一、InputStream和OutputStream （一）说明 InputStream和OutputStream是Java标准库中最基本的IO流，它们都位于java.io包中，该包提供了所有同步IO的功能。 java.io.InputStream 、 java.io.OutputStream （二
阅读全文
摘要：一、题目 请你来实现一个 myAtoi(string s) 函数，使其能将字符串转换成一个 32 位有符号整数（类似 C/C++ 中的 atoi 函数）。 函数 myAtoi(string s) 的算法如下： 读入字符串并丢弃无用的前导空格 检查下一个字符（假设还未到字符末尾）为正还是负号，读取该字
阅读全文
摘要：Hadoop没有使用Java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Configurat
阅读全文
摘要：一、题目 给你一个 32 位的有符号整数 x ，返回将 x 中的数字部分反转后的结果。 如果反转后整数超过 32 位的有符号整数的范围 [−231, 231 − 1] ，就返回 0。 假设环境不允许存储 64 位整数（有符号或无符号）。 二、思路 三、代码 class Solution { publ
阅读全文
摘要：1、Spring IOC容器的设计 我们知道，在Spring中实现控制反转的是IoC容器，所以对于 IoC 来说，最重要的就是容器。因为容器管理着 Bean 的生命周期，控制着 Bean 的依赖注入。那么， 在Spring框架中是如何设计容器的呢？我们来看一下：Spring IoC 容器的设计主要是
阅读全文
浙公网安备 33010602011771号