之于

2021年1月4日

flink - Watermark 更新策略验证

摘要: Watermark 更新策略验证 前置环境 服务器监听 7777 端口并把并把控制台输入发送到socket流配置 env.setParallelism(1); //并发数为1, waterMark共用于keyBy后的每个窗口 env.setStreamTimeCharacteristic(TimeC 阅读全文

posted @ 2021-01-04 23:53 之于 阅读(311) 评论(0) 推荐(1)

2020年3月29日

Java String的高效统计子串出现次数

摘要: 结论: 使用 substring 时, 尽量采用双脚标方式, 理由: substring 指定双脚标时, 比默认指定但脚标时会少复制一些字符 性能验证: import org.apache.commons.io.FileUtils; import java.io.File; import java. 阅读全文

posted @ 2020-03-29 16:00 之于 阅读(645) 评论(0) 推荐(0)

2019年8月8日

hadoop-2.7.6源码学习之 -- HDFS_Client端FileSystem获取

摘要: FileSystem对象为所有HDFS操作入口,因此首先会通过其get静态方法获取到fs,所有get方法最后都会调用 get(URI uri, Configuration conf)完成基本基本配置校验后从CACHE获取FileSystem public static FileSystem get( 阅读全文

posted @ 2019-08-08 14:51 之于 阅读(641) 评论(0) 推荐(0)

2019年8月3日

Hadoop伪分布式搭建

摘要: 虚拟机创建和基本linux配置略过,重点记录单节点上搭建伪分布式hadoop集群的关键配置。 获取hadoop bin包解压等略过。 阅读全文

posted @ 2019-08-03 21:32 之于 阅读(132) 评论(0) 推荐(0)

2019年3月4日

Hadoop技术集

摘要: 1. Hadoop学习之路(二十三)MapReduce中的shuffle详解 阅读全文

posted @ 2019-03-04 10:57 之于 阅读(344) 评论(0) 推荐(0)

2018年12月24日

spark2.0源码学习

摘要: 【Spark2.0源码学习】-1.概述 【Spark2.0源码学习】-2.一切从脚本说起 【Spark2.0源码学习】-3.Endpoint模型介绍 【Spark2.0源码学习】-4.Master启动 【Spark2.0源码学习】-5.Worker启动 【Spark2.0源码学习】-6.Client 阅读全文

posted @ 2018-12-24 21:31 之于 阅读(126) 评论(0) 推荐(0)

2018年12月4日

hive资料

摘要: Hive基本操作 Hive 解锁操作 之前使用Hive,出现过一种情况:在代码正在执行insert into或insert overwrite时,中途手动将程序停掉,会出现卡死情况,只能执行查询操作,而drop insert操作均不可操作,无论执行多久,都会保持卡死状态,问同事有人遇到过,但是他的解 阅读全文

posted @ 2018-12-04 20:57 之于 阅读(191) 评论(0) 推荐(0)

2018年12月1日

zookeeper资料

摘要: ZooKeeper 入门 阅读全文

posted @ 2018-12-01 22:31 之于 阅读(163) 评论(0) 推荐(0)

2018年11月22日

yarn查询/cluster/nodes均返回localhost

摘要: 背景: 1、已禁用ipv6。 2、所有节点的/etc/hosts正确配置,任务在ResourceManager提交。 3、yarn-site.xml中指定了 yarn.resourcemanager.hostname=Master yarn.nodemanager.aux-services=mapr 阅读全文

posted @ 2018-11-22 23:26 之于 阅读(1750) 评论(0) 推荐(0)

2018年11月18日

NodeManager介绍

摘要: 原文链接: http://blog.csdn.net/zhangzhebjut/article/details/37730013 参考文档: https://blog.csdn.net/u013384984/article/details/80738128 https://hortonworks.c 阅读全文

posted @ 2018-11-18 21:51 之于 阅读(12894) 评论(0) 推荐(0)

导航