摘要:虽然大家都在玩大数据,但是大部分人还是在第1和2阶段,部分公司可能到了第3阶段,因为其中涉及的专业知识太多,运维工程师,开发工程师,数据工程师,云工程师等等不一而足。 阶段1 技术试验阶段 在此阶段,你的团队可能会安装一个Hadoop集群和Hive(可能带有Sqoop),以便将一些数据传输到集群并运 阅读全文
posted @ 2019-09-12 17:07 boiledwater 阅读 (4) 评论 (0) 编辑
摘要:在进行分布式开发的过程中,不可避免的会遇到程序异常结束,一般而言,结束的同时分布式框架会返回一个返回码,有时候通过返回码就可以大致知道是因为什么原因程序异常退出了。 由于分布式系统一般运行在linux上,所以有些分布式框架的返回码的设计就与linux本身的signal有关。 相关分布式框架返回码更具 阅读全文
posted @ 2019-09-05 08:37 boiledwater 阅读 (7) 评论 (0) 编辑
摘要:引子:一家商业IT服务公司,提供给客户的服务突然中断了将近一个小时,事后排查原因,竟然是因为一个正则表达式引起的,小小的正则表达式何以引起如此严重的问题? 事情的原因是由于正则解析导致cpu资源消耗殆尽,引起连锁反应,后续的服务都无法对外提供。引起故障的正则表达式是这样的,“(?:(?:\"|'|\ 阅读全文
posted @ 2019-08-29 19:44 boiledwater 阅读 (9) 评论 (0) 编辑
摘要:常用 Ctrl + 左右键:在单词之间跳转 Ctrl + A:跳到本行的行首 Ctrl + E:跳到页尾 Ctrl + U:删除当前光标前面的所有文字(还有剪切功能) Ctrl + K:删除当前光标后面的所有文字(还有剪切功能) Ctrl + L:进行清屏操作 Ctrl + Y:粘贴Ctrl + U 阅读全文
posted @ 2019-07-24 09:51 boiledwater 阅读 (11) 评论 (0) 编辑
摘要:在intellij越来越普及的情况下,利用JUnit在intellij中进行测试就显得很基础了,但网上的资料总有误导的地方,这里记录一下。 总体而言,要开始单元测试,可以分为三步,添加相关的插件,添加相关的依赖,编写测试方法,下面依序说下。 一、添加相关的插件 在intellij中利用JUnit进行 阅读全文
posted @ 2019-07-02 16:16 boiledwater 阅读 (52) 评论 (0) 编辑
摘要:最先大家写日志都用log4j,后来作者勇于创新,又搞了个logback,又为了统一江湖,来了个slf4j,所以目前在代码中进行日志输出,推荐使用slf4j,这样在运行时,你可以决定到底是用log4j还是logback,根据他们不同的配置文件就可以搞定。 基本原理就是 slf4j --> adator 阅读全文
posted @ 2019-06-05 18:36 boiledwater 阅读 (36) 评论 (0) 编辑
摘要:Flink可以使用zookeeper来进行ha,而一般我们都会使用zookeeper的高级api架构curator来对zk进行通讯。在curator中引入了状态的概念,包括connected,reconnected,suspeneded,lost与read_only,其中suspended是个有意思 阅读全文
posted @ 2019-05-31 10:43 boiledwater 阅读 (64) 评论 (0) 编辑
摘要:flink为了保证线上作业的可用性,提供了ha机制,如果发现线上作业失败,则通过ha中存储的信息来实现作业的重新拉起。 我们在flink的线上环境使用了zk为flink的ha提供服务,但在初期,由于资源紧张,只是对zk进行了standalone的部署,但是在后期的使用中,发现单节点的集群很难提供很高 阅读全文
posted @ 2019-04-15 12:24 boiledwater 阅读 (94) 评论 (0) 编辑
摘要:前文知道了java程序运行时在内存中的大概分布,但是对于具体程序是如何运行的,看到一篇文章,直接转载过来。 (一)不含静态变量的java程序运行时内存变化过程分析 代码: 内存过程分析: 在做分析以前我们应该预备的知识有: 1)栈内存储的是局部变量,基础类型的局部变量也分配在栈中,而且它只占一块内存 阅读全文
posted @ 2019-03-20 21:36 boiledwater 阅读 (22) 评论 (0) 编辑
摘要:总说java是一次编译,到处运行的语言,也即java的平台无关性。那么,到底是谁帮我们干脏活累活,因为我们知道不管是什么语言,最终都要翻译成底层的机器码才能真正在计算机上运行,那么不同的操作系统,不同的cpu架构,必然导致机器码的不同,是谁这么好心?JRM,Java Runtime Environm 阅读全文
posted @ 2019-03-20 21:18 boiledwater 阅读 (19) 评论 (0) 编辑