摘要：
一、Flink 概述 分布式的 计算引擎 支持 批处理 ，即处理静态的数据集、历史的数据集 支持 流处理 ，即实时地处理一些实时数据流 Flink认为 有界数据集 是 无界数据流 的一种特例，所以说有界数据集也是一种数据流，事件流也是一种数据流。 无界流 ：意思很明显，只有开始没有结束。必须连续的处 阅读全文
摘要：
一、centos的文件和目录 Linux 没有盘符这个概念,只有一个根目录/, 所有文件都在它下面 /lsdt： found系统修复用的 /bin： 二进制命令所在的目录 /boot： 系统引导程序所需要的文件目录，引导系统开机 /dev： 设备软件目录，磁盘，光驱， /etc： 系统配置，启动程序 阅读全文
摘要：
一、版本选择 二、集群规划 三、准备工作 1、修改Linux主机名 2、修改IP 3、修改主机名和IP的映射关系 4、关闭防火墙 5、ssh免登陆 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ ssh-copy-id -i master-101 6、安装J 阅读全文
摘要：
一、版本介绍 hive 3.1.2 spark 2.3.4 hbase 2.2.4 Phoenix 5.0.0 二、集群规划 基于上一节集群规划的基础，在master-103节点上部署hbase 三、安装配置hbase 1、解压 $ tar -zxvf hbase-2.2.4-bin.tar.gz 阅读全文
摘要：
一、Spark简介 Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算，比hadoop快100倍 Spark 只是一个计算框架, 不像 Ha 阅读全文
摘要：
1、使用top命令查找出消耗最多的进程id 2、查看进程中具体线程的资源消耗情况 3、将线程ID转成16进制 4、查找具体阻塞的代码中的方法 5、其他的一些常用命令 6、jstat和jmap（此仅限于了解，待做详细总结） 阅读全文
摘要：
一、docker安装 1、查看内核，版本必须高于3.10 2、移除旧的版本 3、安装一些必要的系统工具 4、添加软件源信息（这里拉取阿里云的镜像） 5、更新 yum 缓存 6、安装 Docker-ce 7、启动 Docker 后台服务 8、测试运行 hello-world 二、docker安装MyS 阅读全文
摘要：
一、Kettle概念 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集 阅读全文
摘要：
一、oracle 常用的函数及关键字 1、集合操作 1）minus 差集 2）intersect 交集 3）UNION 并集，会去重 4）UNION ALL 并集，不去重2、事物 1）COMMIT (事务提交) 2）ROLLBACK（事务回退） 3）SAVEPOINT（设置保存点命令）3、函数 （1 阅读全文
摘要：
一、windows环境 1、安装jdk 随意选择目录 只需把默认安装目录 \java 之前的目录修改即可 2、安装jre→更改→ \java 之前目录和安装 jdk 目录相同即可 注：若无安装目录要求，可全默认设置。无需做任何修改，两次均直接点下一步。 3、安装完JDK后配置环境变量 计算机→属性→ 阅读全文