摘要:验证本文需要具备Docker及Docker composer,作者使用的环境为Mac + Docker Docker启动Flink集群 首先下载Flink的镜像 ,我下载的是1.9.0版本。 然后编写 docker composer.yml 示例代码 本代码完成的功能是从SOCKET端口中读取文本信 阅读全文
posted @ 2019-11-19 19:15 Cocowool 阅读 (8) 评论 (0) 编辑
摘要:[TOC] 本文基于 Spark 2.4.1 进行演示,相关代码可以在我的 "Github" 上看到。 简介 Spark是一个分布式集群计算系统,类似Hadoop提供了强大的分布式计算能力,相比过去的批量处理系统,提供了处理更大规模数据的能力。Spark提供了Java、Python、Scala、R接 阅读全文
posted @ 2019-10-15 13:16 Cocowool 阅读 (15) 评论 (0) 编辑
摘要:[TOC] 简介 Metric是一个第三方包,用来帮助我们对应用程序的性能进行度量。曾有友商基于这个包编写的程序还申请了专利,总之这是一个使用方便的组件。我们日常进行应用程序性能度量时,最常用的方法是打日志记录每个交易的一些耗时数据,有了这些原始数据,自己再进行统计分析。通过使用Metrics这个包 阅读全文
posted @ 2019-10-09 20:26 Cocowool 阅读 (121) 评论 (0) 编辑
摘要:[TOC] 脚本方法 和Java程序比起来,运行得有点慢。 Java 程序 更详细的代码工程,可以参考我的GitHub "消费者获取分区列表,并获取分区最新的OFFSET" 参考资料 1. "How can I get the LATEST offset of a kafka topic?" 2. 阅读全文
posted @ 2019-09-25 20:19 Cocowool 阅读 (733) 评论 (0) 编辑
摘要:[TOC] 1. Wireshark介绍 1.1 客户端界面 打开Wireshark后,能够看到三个区域。最上方是工具栏区域,可以开始捕获、停止捕获等操作。中间是Cpature Filter区域,能够在开始捕获前指定过滤规则。下方是可以捕获的网络设备,双击其中一个设备后就开始进行网络流量的捕获。 结 阅读全文
posted @ 2019-06-23 16:43 Cocowool 阅读 (1282) 评论 (1) 编辑
摘要:Docker的网络类型 Docker安装后,默认会创建三种网络 Docker启动的时候,可以使用 参数指定使用的网络 网络类型的介绍 bridge: 默认情况下启动的Docker容器,都是使用 bridge,Docker安装时创建的桥接网络,每次Docker容器重启时,会按照顺序获取对应的IP地址, 阅读全文
posted @ 2019-04-17 19:50 Cocowool 阅读 (428) 评论 (0) 编辑
摘要:Elastic{ON} 同事送了一张Elastic{ON}的票,因为我们的产品中用到的ELK全家桶,实话说用的体量还挺大的,因此非常想去参加这次的发布会。 7.0的新特性 上午的会议是来自总部的一名工程师用英文讲了些ES的功能和应用场景,后来曾勇讲了一些7.0会带来的新的特性,主要是以下三个方面。 阅读全文
posted @ 2019-04-14 13:51 Cocowool 阅读 (73) 评论 (0) 编辑
摘要:[TOC] Zookeeper 介绍 Zookeeper是一个分布式应用程序协调服务,主要负责集中维护配置信息的服务,提供分布式的同步机制。其所有的服务都是做为其他分布式应用的基础。Zookeeper是Google Chubby的一个开源实现,是现在很多分布式应用的重要组件,包括诸如Hadoop、H 阅读全文
posted @ 2019-04-05 22:07 Cocowool 阅读 (133) 评论 (0) 编辑
摘要:set uid, gid, sticky bit 权限 一个文件都有一个所有者, 表示该文件是谁创建的。同时, 该文件还有一个组编号, 表示该文件所属的组, 一般为文件所有者所属的组。如果是一个可执行文件, 那么在执行时, 一般该文件只拥有调用该文件的用户具有的权限,而setuid, setgid 阅读全文
posted @ 2019-03-06 08:36 Cocowool 阅读 (2114) 评论 (0) 编辑
摘要:设置资源请求数量 创建Pod的时候,可以为每个容器指定资源消耗的限制。Pod的资源请求限制则是Pod中所有容器请求资源的总和。 如果不指定CPU请求资源,表示不关心容器会分到多少CPU资源,有可能会一直分不到而处于等待状态。指定资源请求表示Pod对资源的最小需求,因此在调度的时候会如果Node剩余的 阅读全文
posted @ 2018-11-16 14:41 Cocowool 阅读 (1761) 评论 (0) 编辑