08 2021 档案

Flink 集群安装配置-Centos7
摘要：一、下载安装 二、文件配置 三、启动Flink 一、下载安装 1.1 下载地址：https://archive.apache.org/dist/flink，此处下载的文件是 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 1.2 解压缩 进入文件目录 tar -zxv 阅读全文
posted @ 2021-08-24 16:54 xiaojy 阅读(623) 评论(0) 推荐(0)
zepplin-0.9安装配置-Centos7
摘要：一 下载安装 二 文件配置 三 启动Zeppelin 四 用户管理 五 数据源设置 六 interpreter设置 一、下载安装 1.1 下载地址：http://zeppelin.apache.org/download.html 下载页面会提供两种二进制包： zeppelin-0.9.0-bin-n 阅读全文
posted @ 2021-08-22 14:40 xiaojy 阅读(393) 评论(0) 推荐(0)
Hadoop的集群（全分布式）安装配置—Hadoop2.7.3-Centos7
摘要：此处例如三台主机： NameNode：Master DataNode：slave2、slave3 一、环境准备 1.1 同步时间 1.2 创建用户 1.3 关闭防火墙 1.4 免密登录 1.5 JDK安装 二、下载安装 三、NameNode核心文件配置 3.1 hadoop-env.sh 3.2 h 阅读全文
posted @ 2021-08-19 16:49 xiaojy 阅读(425) 评论(0) 推荐(0)
kylin安装配置-kylin-3.1.2-Centos7
摘要：一、软件要求 二、Kylin 安装 三、文件配置 四、运行kylin 一、软件要求 1，hadoop 安装配置 2，Hbase 安装配置 3，Hive 安装配置 4，JDK1.8 5，Spark 安装配置(可选) 二、Kylin 安装 这里使用和安装Hadoop同一个用户 2.1,下载地址：kyli 阅读全文
posted @ 2021-08-18 12:31 xiaojy 阅读(1061) 评论(0) 推荐(0)
Cebe Pananer优化
摘要：一、两个步骤 二、System Cube 2.1 开启System Cube 修改$KYLIN_HOME/conf/kylin.properties文件，将下述文字粘贴至空白处 kylin.server.query-metrics2-enabled=true kylin.metrics.report 阅读全文
posted @ 2021-08-18 10:53 xiaojy 阅读(61) 评论(0) 推荐(0)
Cube优化
摘要：一、查看Cuboid数量 二、判断Cube优化的依据 一、查看Cuboid数量 $KYLIN_HOME/bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader CUBE_NAME CUBE_NAME 想要查看Cube的名字 如下显 阅读全文
posted @ 2021-08-17 17:27 xiaojy 阅读(60) 评论(0) 推荐(0)
Kylin启动流程
摘要：一、必备环境 $ date # 1.确保集群时间同步 $ systemctl start mysqld.service # 2.hive 元数据保存在MySQL $ zkServer.sh start # 3.启动Zookeeper $ start-all.sh # 4.启动HDFS和YARN $ 阅读全文
posted @ 2021-08-16 12:00 xiaojy 阅读(197) 评论(0) 推荐(0)
Oracle安装配置-12c-centos7-单节点
摘要：目录 一、环境准备 1.1 修改IP地址和主机名 1.2 安装数据库依赖包 1.3 关闭防火墙 1.4 建立用户和组 1.5 创建数据库相关目录 1.6 修改内核参数 1.7 修改文件限制 1.8 添加ulimit限制 1.9 修改oracle用户环境变量 二、数据库软安装 2.1 解压安装包 2. 阅读全文
posted @ 2021-08-14 23:30 xiaojy 阅读(180) 评论(0) 推荐(0)
kylin安装配置-kylin-2.5.0-Centos7
摘要：一、软件要求 二、Kylin 安装 三、文件配置 四、运行kylin 一、软件要求 1，hadoop 安装配置 2，Hbase 安装配置 3，Hive 安装配置 4，JDK1.8 5，Spark 安装配置(可选) 二、Kylin 安装 使用通Hadoop同一个用户 2.1,下载地址：kylin-2. 阅读全文
posted @ 2021-08-12 14:46 xiaojy 阅读(296) 评论(0) 推荐(0)
Kettle安装配置-kettle-5.0.1-Centos7$
摘要：一、环境准备 二、下载安装 三、核心文件配置 四、运行软件 一、环境准备 1.1 Centos7 1.2 创建用户 $ useradd -m -g bigdata etl -s /bin/bash # ll /home/查看是否创建成功 $ passwd etl $ visudo $ su etl 阅读全文
posted @ 2021-08-06 11:58 xiaojy 阅读(459) 评论(0) 推荐(0)
创建用户及文件权限
摘要：一、创建用户 阅读全文
posted @ 2021-08-05 17:50 xiaojy 阅读(25) 评论(0) 推荐(0)
PySpark环境搭建-Anaconda3-4.4.0
摘要：一、Anaconda3安装 1.1 下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 1.2 进入文件存放目录安装： $ sh ./Anaconda3-4.4.0-Linux-x86_64.sh 1.2.1，按Enter继续 Pl 阅读全文
posted @ 2021-08-05 16:43 xiaojy 阅读(416) 评论(0) 推荐(0)
Spark集群安装配置—Spar2.4.5-Centos7
摘要：一、实验环境 二、下载安装 三、核心文件配置 四、启动程序 一、实验环境 可以先完成以下环境配置，也可直接安装： 1.1 Hadoop2.7集群安装配置 1.2 Anaconda3安装配置 1.3 系统：Centos7，hadoop用户（和Hadoop集群同个用户） 二、下载安装 2.1 下载地址： 阅读全文
posted @ 2021-08-05 14:37 xiaojy 阅读(443) 评论(0) 推荐(0)
Anaconda3下载
摘要：各版本下载地址：Anaconda3下载 阅读全文
posted @ 2021-08-05 09:33 xiaojy 阅读(60) 评论(0) 推荐(0)
Hive安装配置—Hive-2.3.0-Centos7
摘要：一、实验环境 二、下载安装 三、核心文件配置 3.1 hive-site.xml 四、启动程序 一、实验环境 1.1 安装环境：centos7：hadoop用户 1.2 安装mysql：https://www.cnblogs.com/xiaojy2021/p/14948543.html 1.3 在m 阅读全文
posted @ 2021-08-04 14:24 xiaojy 阅读(209) 评论(0) 推荐(0)
Hbase的分布安装配置—Hbase1.3.1-Centos7
摘要：一、实验环境 二、下载安装 三、核心文件配置 3.1 hbase-env.sh 3.2 hbase-site.xml 3.3 regionservers 四、其他节点安装配置 五、启动程序 一、实验环境 1.1 hadoop安装，安装过程见：https://www.cnblogs.com/xiaoj 阅读全文
posted @ 2021-08-03 18:03 xiaojy 阅读(583) 评论(0) 推荐(0)
Hadoop的伪分布安装配置—Hadoop2.7.3-Centos7
摘要：一、环境准备 1.1 创建用户 1.2 关闭防火墙 1.3 免密登录 1.4 JDK安装 二、下载安装 三、核心文件配置 3.1 hadoop-env.sh 3.2 hdfs-site.xml 3.3 core-site.xml 3.4 mapred-site.xml 3.5 yarn-site.x 阅读全文
posted @ 2021-08-02 15:55 xiaojy 阅读(267) 评论(0) 推荐(0)