摘要：
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j: 阅读全文
posted @ 2021-07-11 17:18
linzm14
阅读(571)
评论(1)
推荐(0)
摘要：
idea target文件下的配置文件没有正常复制过来 解决方法: 第一种 第二种 右键pom.xml点击maven 第三种: 第四种 maven 先clean然后complie 第五种 重启idea 清楚缓存 阅读全文
posted @ 2021-07-03 15:37
linzm14
阅读(78)
评论(0)
推荐(0)
摘要：
kafka Streams 1 概述 1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams特点 1．功能强大 （1） 阅读全文
posted @ 2021-07-01 22:14
linzm14
阅读(1700)
评论(0)
推荐(0)
摘要：
错误:main" java.lang.NoClassDefFoundError: org/apache/kafka/common/requests/IsolationLevel at org.apache.kafka.streams.StreamsConfig.<clinit>(StreamsCon 阅读全文
posted @ 2021-07-01 17:23
linzm14
阅读(3089)
评论(0)
推荐(0)
摘要：
在使用Xshell连接虚拟机连接不上，可能之前虚拟机关闭不当 登到虚拟机的中断使用ifconfig发现没有ens33 猜测是CentOS图形管理中的NetworkManager接管了网络配置， 执行以下命令关闭、重启网络服务： ifconfig ens33 up systemctl stop Net 阅读全文
posted @ 2021-07-01 08:07
linzm14
阅读(1041)
评论(0)
推荐(0)
摘要：
Kafka 第1章 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm和Spark通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最 阅读全文
posted @ 2021-06-30 14:43
linzm14
阅读(81)
评论(0)
推荐(0)
摘要：
Flume 1. Flume解决的问题 2. Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 3. Flume的工作机制 4. Flume组成架构 4.1. Agent Agent是一个JVM进程， 阅读全文
posted @ 2021-06-29 20:17
linzm14
阅读(269)
评论(0)
推荐(0)
摘要：
Hadoop第六天 1. Yarn资源调度 1.1. Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.2. Yarn基本架构 YARN主要由ResourceManag 阅读全文
posted @ 2021-06-29 20:12
linzm14
阅读(84)
评论(0)
推荐(0)
摘要：
Hadoop第五天1.MapReduce框架原理1.1.MapTask并行度决定机制问题:maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？ 一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片 阅读全文
posted @ 2021-06-29 20:09
linzm14
阅读(92)
评论(0)
推荐(0)
摘要：
Hadoop第四天 1. 作业题 统计每个手机号消耗的流量: 上传流量 下载流量 总流量 1.1. 封装序列化对象 package com.hotdas.mr.bean;import org.apache.hadoop.io.Writable;import java.io.DataInput;imp 阅读全文
posted @ 2021-06-29 20:06
linzm14
阅读(71)
评论(0)
推荐(0)
浙公网安备 33010602011771号