大数据 - 随笔分类 - SHUN丶

DolphinScheduler3.1.7集成SAP HANA

摘要：## 源码地址：[GitHub - apache/dolphinscheduler at 3.1.7-release](https://github.com/apache/dolphinscheduler/tree/3.1.7-release) ## 个人fork gitee地址：[DolphinS 阅读全文

posted @ 2023-07-21 20:20 SHUN丶阅读(204) 评论(0) 推荐(0)

DolphinScheduler3.1.7离线手册

摘要：# DolphinScheduler3.1.7 ## DolphinScheduler简介 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache D 阅读全文

posted @ 2023-07-21 16:33 SHUN丶阅读(738) 评论(0) 推荐(0)

altas2.1.0编译、安装、集成CDH6.3.2

摘要：[TOC] # altas2.1.0编译、安装、集成CDH6.3.2 参考链接1：[http://t.csdn.cn/TOS4q](https://blog.csdn.net/h952520296/article/details/110874432) 参考链接2：[数据治理之元数据管理的利器——At 阅读全文

posted @ 2022-08-29 10:41 SHUN丶阅读(632) 评论(0) 推荐(0)

ranger2.1.0源码编译以及安装

posted @ 2022-06-01 12:23 SHUN丶阅读(1502) 评论(0) 推荐(0)

离线自动化部署CDH

摘要：# 离线CDH集群自动化部署工具离线CDH集群安装与部署的自动化脚本工具，简单支持「**离线一键装机**」。 **脚本将对系统配置做出一定修改，使用前请务必确认当前服务器无其他人员、任务使用，以免造成不必要的麻烦，建议提前使用测试服务器或虚拟机测试体验。** ## 一、Features 已实现的自阅读全文

posted @ 2022-05-10 17:43 SHUN丶阅读(495) 评论(4) 推荐(0)

http方式内网搭建CDH6.3.2与部分组件优化

摘要：# **Cloudera_Manager_6.3.2**安装配置文档 ## 1. 配置准备 Cloudera Manager (简称CM)用于管理CDH6集群，可进行节点安装、配置、服务配置等，提供Web窗口界面提高了Hadoop配置可见度，而且降低了集群参数设置的复杂度。本次CM安装配置规划如下阅读全文

posted @ 2022-03-01 16:34 SHUN丶阅读(691) 评论(0) 推荐(0)

hdfs小文件合并

摘要：# HDFS small file merge # 1.hive ## Settings There are 3 settings that should be configured before archiving is used. (Example values are shown.) ``` 阅读全文

posted @ 2022-03-01 16:00 SHUN丶阅读(684) 评论(0) 推荐(0)

kafka-eagle-2.0.5安装指南

摘要：# kafka eagle 安装文档 ``` 环境介绍：kafka 三台版本：2.2.1+cdh6.3.2 管理：ZK ``` ## kafka-eagle-bin-2.0.5.tar.gz安装包准备 ``` 官网 :http://download.kafka-eagle.org/ 百度云链接：阅读全文

posted @ 2021-07-02 11:39 SHUN丶阅读(1140) 评论(2) 推荐(0)

关于sparksql中设置自定义自增列的相关要点（工作共踩过的坑-1）

摘要：小白终于进入了职场，从事大数据方面的工作！分到项目组了，搬砖的时候遇到了一个这样的问题。要求：用spark实现oracle的存储过程中计算部分。坑：由于报表中包含了一个ID字段，其要求是不同的区域拥有不同的区域ID，且ID在数据库表中的属性为主键。Oracle的存储过程中采用的是自定义序列，采阅读全文

posted @ 2019-08-21 17:57 SHUN丶阅读(2923) 评论(0) 推荐(0)

hive安装

摘要：Hive的安装和使用我们的版本约定： JAVA_HOME=/usr/local /jdk1.8.0_191 HADOOP_HOME=/usr/local/hadoop HIVE_HOME=/usr/local/hive 离线安装Mysql 1°、查看mysql的依赖 rpm -qa | grep 阅读全文

posted @ 2019-04-26 16:35 SHUN丶阅读(218) 评论(0) 推荐(0)

Spark单点安装、使用sparkshell

摘要：Spark分布式安装 Spark安装注意：需要和本机的hadoop版本对应前往spark选择自己相对应的版本下载之后进行解压命令：tar –zxf spark-2.4.0-bin-hadoop2.6.tgz –C /usr/local 配置spark分布式，修改两个主要配置文件 spark-en 阅读全文

posted @ 2019-04-26 16:34 SHUN丶阅读(282) 评论(0) 推荐(0)

zookeeper集群

摘要：基于hadoop集群搭建zookeeper集群 Filezilla上传zookeeper压缩包到主节点安装zookeeper到/usr/local目录命令：tar –zxf zookeeper3.4.tar.gz /usr/local 更名命令： mv zookeeper3.4 zookeepe 阅读全文

posted @ 2019-04-26 16:33 SHUN丶阅读(261) 评论(0) 推荐(0)

Hbase集群搭建

摘要：日志______2019.1.24 Hbase分布式搭建注意：hbase的使用基于hadoop，开启以及关闭需要注意顺序，由于我是的是自带的zookeeper，说以开启关闭顺序应如下启动：hadoop>>hbase 关闭：hbase>>Hadoop 相关命令: start-all.sh开启had 阅读全文

posted @ 2019-04-26 16:32 SHUN丶阅读(181) 评论(0) 推荐(0)

hadoop环境搭建

摘要：日志_____2019.1.23 实验集群环境搭建三台阿里云服务器公网ip 内网ip 120.79.63.130 node2 172.17.17.58 112.74.50.240 主节点master 172.17.17.79 39.108.232.147 node1 172.16.50.183 阅读全文

posted @ 2019-04-26 16:31 SHUN丶阅读(594) 评论(0) 推荐(0)

SHUN丶

随笔分类 - 大数据

公告