会飞的鹅

2021年6月16日

摘要： HDFS写数据流程 1、客户端跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在 2、NameNode返回是否可以上传 3、客户端先对文件进行切分，对NameNode请求第一个block上传 4、NameNode返回DataNode服务器DataNode 阅读全文

posted @ 2021-06-16 10:22 会飞的鹅阅读(353) 评论(0) 推荐(0)

MR输出到Mysql

摘要： 1.自定义一个实体类用于接收属性数据。实现Writable, DBWritable接口，实现四个抽象方法例： public class DataFilter implements Writable, DBWritable { private String day = null; private 阅读全文

posted @ 2021-06-16 10:21 会飞的鹅阅读(24) 评论(0) 推荐(0)

MapReduce工作流程

摘要： MapReduce工作流程 MapReduce工作流程 Map阶段： 1.首先由客户端把数据进行切片处理，然后提交切片信息给ResourceManager。 2.ResourceManager找到一个NodeManager，由NodeManager创建分析出Maptask数量 3.每个输入分片由一个阅读全文

posted @ 2021-06-16 10:19 会飞的鹅阅读(1165) 评论(0) 推荐(0)

MapTask工作机制

摘要： Read阶段：首先读取文件，然后对文件进行切片，大小为默认128M，并交给MapTask解析出一个个 K/V键值对 Map阶段：将解析出来的键值对交给用户编写的业务逻辑执行，处理这些数据，并调用 context.write() Collert收集阶段： context.write处理数据，调用P 阅读全文

posted @ 2021-06-16 10:18 会飞的鹅阅读(92) 评论(0) 推荐(0)

记一次HDFS HA自动切换失败问题

摘要：报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na 阅读全文

posted @ 2021-06-16 10:13 会飞的鹅阅读(312) 评论(0) 推荐(0)

2021年6月15日

VIM编辑器

摘要： vim编辑器 vim编辑器一般模式（1） yy（功能描述：复制光标当前一行） y数字y （功能描述：复制一段(从第几行到第几行，光标闪烁处认为第一行，y2y，即复制光标所在行以及光标下一行)）（2）p（功能描述：箭头移动到目的行粘贴粘在光标所在行的下一行）（3） u（功能描述：撤销上一步）阅读全文

posted @ 2021-06-15 16:16 会飞的鹅阅读(58) 评论(0) 推荐(0)

linux常用命令

摘要： Linux命令常用快捷键（1）ctrl + c：停止进程（2）ctrl+l：清屏（3）善于用tab键（4）上下键：查找执行过的命令文件目录类 (1) pwd 显示当前工作目录的绝对路径 (2) ls 列出目录的内容 ls [参数] [目录或是文件] list 参数: -a ：all,全部阅读全文

posted @ 2021-06-15 16:15 会飞的鹅阅读(79) 评论(0) 推荐(0)

lsof命令

摘要：获取网络信息查看所有到指定ip的连接 lsof -i@172.16.12.5 查看指定端口信息 lsof -i :22 查看所有TCP或UDP连接 lsof -iTCP 查看所有网络连接 lsof -i 查看所有ipv6的网络连接 lsof -i 6 查看指定状态的连接监听状态 lsof -i 阅读全文

posted @ 2021-06-15 16:13 会飞的鹅阅读(163) 评论(0) 推荐(0)

JVM内存信息收集

摘要： java -Xloggc:./jvm.log java -Xms750m -Xmx750m -Xmn512m -Xss1024k -XX:MaxPermSize=128m -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+Us 阅读全文

posted @ 2021-06-15 16:02 会飞的鹅阅读(92) 评论(0) 推荐(0)

diff命令详解

摘要： Linux diff命令用于比较文件的差异。 diff以逐行的方式，比较文本文件的异同处。如果指定要比较目录，则diff会比较目录中相同文件名的文件，但不会比较其中子目录。参数： -<行数> 指定要显示多少行的文本。此参数必须与-c或-u参数一并使用。 -a或--text diff预设只会逐行比较阅读全文

posted @ 2021-06-15 16:01 会飞的鹅阅读(785) 评论(0) 推荐(0)

公告