imreW

摘要： Foreword Before writing this article, I wrote some history of big data components and some of its evaluations intermittently, but I didn't feel satisf 阅读全文

摘要： 一、数仓架构发展史 1.发展史 时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。 时间就是一把尺子，它能 阅读全文

摘要： 一、技术生态 1.初步 Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。 按理来说，这就足够了，就可以完成大数据分析了。 但第一个问题就是麻烦。这一套相当于用Yarn调度资源，读取HDFS文件内容进行MR计算。要写Jav 阅读全文

摘要： Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景。 说好的流批一体呢 现状 Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 阅读全文

摘要： 准备工作 Java环境 Kafka安装包（已包含zookeeper） 安装步骤 1 Java安装 自行百度 2 下载、安装Kafka 打开 下载地址 选择下图红框中的版本，Kafka包名组成： Scala版本 - Kafka自身版本 下载完成之后解压，目录如下图： 3 启动服务 3.1 启动ZooK 阅读全文

摘要： 一、InputStream和OutputStream （一）说明 InputStream和OutputStream是Java标准库中最基本的IO流，它们都位于java.io包中，该包提供了所有同步IO的功能。 java.io.InputStream 、 java.io.OutputStream （二 阅读全文

摘要： lombok是一个可以帮助我们简化java代码编写的工具类，尤其是简化javabean的编写，即通过采用注解的方式，消除代码中的构造方法，getter/setter等代码，使我们写的类更加简洁，当然，这带来的副作用就是不易阅读…不过，还是能看得懂吧，废话不多说，先看一下lombok支持的一些常见的注 阅读全文

摘要： 1.相同点 请求头的大部分内容相同，只有部分有所区别，都是用来访问服务器的方法。 GET ：请求从服务器获取特定资源。举个例子：GET /users（获取所有学生） POST ：在服务器上创建一个新的资源。举个例子：POST /users（创建学生） PUT ：更新服务器上的资源（客户端提供更新后的 阅读全文

摘要： 前言：目前所有的项目都在使用maven，可是一直没有时间去整理学习，这两天正好有时间，好好的整理一下。 一、为什么使用Maven这样的构建工具【why】 ① 一个项目就是一个工程 如果项目非常庞大，就不适合使用package来划分模块，最好是每一个模块对应一个工程，利于分工协作。 借助于maven就 阅读全文

摘要： （一）vim 编辑器简介 vim 是一个全屏幕纯文本编辑器，是 vi 编辑器的增强版。你可以利用别名让输入 vi 命令的时候，实际上执行 vim 编辑器 [root@hepingfly ~]# alias vi='vim' 但是这样定义别名是临时生效，如果需要永久生效，请放置环境变量配置文件 ~/. 阅读全文