linzm14

2021年7月1日

NoClassDefFoundError: org/apache/kafka/common/requests/IsolationLevel at org.apache.kafka.streams.StreamsConfig.<clinit>(StreamsConfig.java:521)

摘要：错误:main" java.lang.NoClassDefFoundError: org/apache/kafka/common/requests/IsolationLevel at org.apache.kafka.streams.StreamsConfig.<clinit>(StreamsCon 阅读全文

posted @ 2021-07-01 17:23 linzm14 阅读(3072) 评论(0) 推荐(0)

解决远程连不到CentOS7虚拟机或ifconfig中没有ens33

摘要：在使用Xshell连接虚拟机连接不上，可能之前虚拟机关闭不当登到虚拟机的中断使用ifconfig发现没有ens33 猜测是CentOS图形管理中的NetworkManager接管了网络配置，执行以下命令关闭、重启网络服务： ifconfig ens33 up systemctl stop Net 阅读全文

posted @ 2021-07-01 08:07 linzm14 阅读(1033) 评论(0) 推荐(0)

2021年6月30日

0630 Kafka教程

摘要： Kafka 第1章 Kafka概述 1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm和Spark通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最阅读全文

posted @ 2021-06-30 14:43 linzm14 阅读(73) 评论(0) 推荐(0)

2021年6月29日

0628 Flume教程

摘要： Flume 1. Flume解决的问题 2. Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 3. Flume的工作机制 4. Flume组成架构 4.1. Agent Agent是一个JVM进程，阅读全文

posted @ 2021-06-29 20:17 linzm14 阅读(264) 评论(0) 推荐(0)

0618 hadoop06

摘要： Hadoop第六天 1. Yarn资源调度 1.1. Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.2. Yarn基本架构 YARN主要由ResourceManag 阅读全文

posted @ 2021-06-29 20:12 linzm14 阅读(74) 评论(0) 推荐(0)

0617 hadoop05

摘要： Hadoop第五天1.MapReduce框架原理1.1.MapTask并行度决定机制问题:maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片阅读全文

posted @ 2021-06-29 20:09 linzm14 阅读(82) 评论(0) 推荐(0)

0615 hadoop04

摘要： Hadoop第四天 1. 作业题统计每个手机号消耗的流量: 上传流量下载流量总流量 1.1. 封装序列化对象 package com.hotdas.mr.bean;import org.apache.hadoop.io.Writable;import java.io.DataInput;imp 阅读全文

posted @ 2021-06-29 20:06 linzm14 阅读(63) 评论(0) 推荐(0)

0614 hadoop03

摘要： Hadoop第三天 1. HDFS读数据流程 1.客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件存放的DataNode地址. 2.挑选一台近的DataNode节点,请求下载数据. 3.DataNode传输数据到客户端,( 阅读全文

posted @ 2021-06-29 20:04 linzm14 阅读(74) 评论(0) 推荐(0)

0611 hadoop02

摘要： Hadoop第二天 1. HDFS的java客户端 1.1. 解决log4j错误警告 log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.la 阅读全文

posted @ 2021-06-29 20:02 linzm14 阅读(43) 评论(0) 推荐(0)

0610 hadoop01

摘要： Hadoop第一天 1. 数据的分布式存储 2. 什么是HDFS? 海量数据是存储在集群上的(利用多台机器作为存储资源) 多台机器组成一个有组织的群体(主节点,从节点) 从节点启动后,向主节点汇报自已的资源主节点接收到从节点的注册后,维护集群(列表有几个节点,每个节点的存储容量信息) 客户端存储数阅读全文

posted @ 2021-06-29 19:53 linzm14 阅读(82) 评论(0) 推荐(0)

公告