随笔分类 - BigData
大数据
摘要:环境需求 安装JDK1.8 根据需要选择openjdk、Oracle JDK 安装MySQL8.0.25 见博客 https://www.cnblogs.com/happy-king/p/16408631.html 安装apache-hive3.1.3 目录规划 hive的数据目录:/app/dat
阅读全文
摘要:DolphinScheduler测试环境说明 | 角色 | 主机名 | 备注 | | | | | | masters | hadoop01,hadoop02 | | | workers | hadoop01,hadoop02,hadoop03,hadoop04,hadoop05 | | | aler
阅读全文
摘要:一、大数据运维的职责 一)大数据运维的职责概述 1、集群管理 大数据需要分布式系统(集群) 相关软软件CDH、HDFS、YARN、Hive、Hbase、Kafka、zookeeper、Spark、Flume、Impala、Hue、Sqoop、Elasticsearch、kibana、MySQL、Or
阅读全文
摘要:一、Hadoop生态圈知识 https://blog.csdn.net/gdkyxy2013/category_10006538_3.html 一)Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用
阅读全文

浙公网安备 33010602011771号