2021年10月11日
Linux----系统的优化
摘要： Linux系统优化 #掌握Linux系统常用优化工具的使用、系统网络性能进行优化的方法、文件系统的基本优化、系统预读缓冲区的优化方法以及掌握Swap分区及内存分配策略的修改方法 #free命令、top命令 *free用来显示内存的使用情况**top是Linux常用的性能分析工具* 1.查看swapp 阅读全文
posted @ 2021-10-11 11:56 世界终将是黑大帅的 阅读(87) 评论(0) 推荐(0)
Spark----shell操作
摘要： Spark-shell进行词频统计 1.将README.md文件上传至hdfs上： hadoop fs -put README.md / 2.进入shell编辑界面 spark-shell ①：val textFile = sc.textFile("/README.md") ②： textFile. 阅读全文
posted @ 2021-10-11 11:00 世界终将是黑大帅的 阅读(155) 评论(0) 推荐(0)
Spark---组件的维护
摘要： Scala #掌握Spark的架构#掌握Spark的工作原理#掌握Spark的安装部署#掌握Scala的架构#掌握Spark的参数修改方法#掌握Spark Shell的编程#掌握Spark的基础管理方法 注意:spark的版本号与Scala版本号是不一致的,spark依赖Scala 先安装Scala 阅读全文
posted @ 2021-10-11 10:15 世界终将是黑大帅的 阅读(85) 评论(0) 推荐(0)
2021年10月8日
ETL组件----Flume与Kafka组件的数据处理
摘要： Flume与Kafka 1.在flume下的conf目录下创建syslog_mem_kafka.conf文件并添加内容 直接编辑会自动创建该文件，并修改权限为当前用户 sudo vim syslog_mem_kafka.conf 添加内容： agent1.sources = srcagent1.ch 阅读全文
posted @ 2021-10-08 14:39 世界终将是黑大帅的 阅读(153) 评论(0) 推荐(0)
2021年10月7日
ETL组件----Kafka
摘要： Kafka安装 1.解压文件 tar -zxvf /apps/kafka_2.11-1.0.0.gz -C /opt 2.修改名称 进入opt/目录下：mv kafka_2.11-1.0.0 kafka 3.添加环境变量 、 4.生成环境变量 source /etc/profile kafka操作 阅读全文
posted @ 2021-10-07 23:23 世界终将是黑大帅的 阅读(247) 评论(0) 推荐(0)
ETL组件----Flume
摘要： ETL组件 Flume安装 1.解压文件 tar -zxvf /apps/apache-flume-1.6.0-bin.tar.gz -C /opt 2.修改文件名 3.配置环境变量 sudo vim /etc/profile 4.生成环境环境变量 source /etc/profile Flume 阅读全文
posted @ 2021-10-07 22:01 世界终将是黑大帅的 阅读(120) 评论(0) 推荐(0)
ETL组件----sqoop
摘要： sqoop导入数据 进入mysql： mysql -uroot -pLover*159 1.创建数据库并插入数据 （1）创建数据库并将其定位默认数据库 create database mysql_hdfs; use mysql_hdfs; （2）创建表： create table users(id 阅读全文
posted @ 2021-10-07 12:08 世界终将是黑大帅的 阅读(59) 评论(0) 推荐(0)
ETL组件的维护
摘要： sqoop导入数据 进入mysql： mysql -uroot -pLover*159 1.创建数据库并插入数据 （1）创建数据库并将其定位默认数据库 create database mysql_hdfs; use mysql_hdfs; （2）创建表： create table users(id 阅读全文
posted @ 2021-10-07 12:07 世界终将是黑大帅的 阅读(85) 评论(0) 推荐(0)
sqoop安装及配置
摘要： sqoop安装 1.解压tar包 tar -zxvf /apps/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/ 2.修改名称 3.修改环境变量 sudo vim /etc/profile 添加： 4.生成环境变量 source /etc/profile 阅读全文
posted @ 2021-10-07 11:43 世界终将是黑大帅的 阅读(398) 评论(0) 推荐(0)
Hive 的参数配置
摘要： Hive参数的配置 新建hive用户在MySql中新建名称hive_db的数据库，用来存储Hive元数据；并创建hive用户，密码为自定义，并且赋予权限： create database hive_db;（新建hive_db数据库） create user hive identified by 'L 阅读全文
posted @ 2021-10-07 10:36 世界终将是黑大帅的 阅读(909) 评论(0) 推荐(0)