之于 - 博客园

flink - Watermark 更新策略验证

摘要： Watermark 更新策略验证前置环境服务器监听 7777 端口并把并把控制台输入发送到socket流配置 env.setParallelism(1); //并发数为1, waterMark共用于keyBy后的每个窗口 env.setStreamTimeCharacteristic(TimeC 阅读全文

posted @ 2021-01-04 23:53 之于阅读(311) 评论(0) 推荐(1)

Java String的高效统计子串出现次数

摘要：结论: 使用 substring 时, 尽量采用双脚标方式, 理由: substring 指定双脚标时, 比默认指定但脚标时会少复制一些字符性能验证: import org.apache.commons.io.FileUtils; import java.io.File; import java. 阅读全文

posted @ 2020-03-29 16:00 之于阅读(645) 评论(0) 推荐(0)

hadoop-2.7.6源码学习之 -- HDFS_Client端FileSystem获取

摘要： FileSystem对象为所有HDFS操作入口，因此首先会通过其get静态方法获取到fs，所有get方法最后都会调用 get(URI uri, Configuration conf)完成基本基本配置校验后从CACHE获取FileSystem public static FileSystem get( 阅读全文

posted @ 2019-08-08 14:51 之于阅读(641) 评论(0) 推荐(0)

Hadoop伪分布式搭建

摘要：虚拟机创建和基本linux配置略过，重点记录单节点上搭建伪分布式hadoop集群的关键配置。获取hadoop bin包解压等略过。阅读全文

posted @ 2019-08-03 21:32 之于阅读(132) 评论(0) 推荐(0)

Hadoop技术集

摘要： 1. Hadoop学习之路（二十三）MapReduce中的shuffle详解阅读全文

posted @ 2019-03-04 10:57 之于阅读(344) 评论(0) 推荐(0)

spark2.0源码学习

摘要：【Spark2.0源码学习】-1.概述【Spark2.0源码学习】-2.一切从脚本说起【Spark2.0源码学习】-3.Endpoint模型介绍【Spark2.0源码学习】-4.Master启动【Spark2.0源码学习】-5.Worker启动【Spark2.0源码学习】-6.Client 阅读全文

posted @ 2018-12-24 21:31 之于阅读(126) 评论(0) 推荐(0)

hive资料

摘要： Hive基本操作 Hive 解锁操作之前使用Hive，出现过一种情况：在代码正在执行insert into或insert overwrite时，中途手动将程序停掉，会出现卡死情况，只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态，问同事有人遇到过，但是他的解阅读全文

posted @ 2018-12-04 20:57 之于阅读(191) 评论(0) 推荐(0)

zookeeper资料

摘要： ZooKeeper 入门阅读全文

posted @ 2018-12-01 22:31 之于阅读(163) 评论(0) 推荐(0)

yarn查询/cluster/nodes均返回localhost

摘要：背景: 1、已禁用ipv6。 2、所有节点的/etc/hosts正确配置，任务在ResourceManager提交。 3、yarn-site.xml中指定了 yarn.resourcemanager.hostname=Master yarn.nodemanager.aux-services=mapr 阅读全文

posted @ 2018-11-22 23:26 之于阅读(1750) 评论(0) 推荐(0)

NodeManager介绍

摘要：原文链接： http://blog.csdn.net/zhangzhebjut/article/details/37730013 参考文档: https://blog.csdn.net/u013384984/article/details/80738128 https://hortonworks.c 阅读全文

posted @ 2018-11-18 21:51 之于阅读(12894) 评论(0) 推荐(0)

之于