下士闻道

摘要： Spark在master node生成DAG之后，将DAG以及map函数，action函数进行打包，还有一个很重的打包内容：如何在worker节点执行。统统打包之后传递给YARN，YARN本身只是负责分配资源，以及将上游应用要执行的内容（spark打的函数包）放在分配的资源里面执行；执行内容他并不知 阅读全文

摘要： 什么是序列化？之前一直没有太搞明白；今天再看Hadoop权威指南的时候，加深对于序列化的认知。 首先要明白序列化是因为要跨介质；比如网络传输，从内存、硬盘到网络；在比如保存，从内存到硬盘；序列化的目标是二进制；序列化有两层含义，首先是形式是二进制，网络传输以及硬盘存储只能处理二进制格式；其次，序列化 阅读全文

摘要： 左侧是组件以及组件依赖树（层级结构）；右侧是识别出来的所有的组件； 点击右侧一棵树的任意一点，你将会发现左侧是呈现了都有哪些组件使用了它。 阅读全文

摘要： YARN的核心组件： 1）ResourceManager，扮演Master角色（和HDFS的nameNode很像）主要用于资源分配；RM有两个子组件，分别是Scheduler（Capacity Scheduler以及Fair Scheduler）以及ApplicationManager，主要用于管理 阅读全文

摘要： 架构师的作用是核心部分可控，一个完全被架构师控制的项目貌似严谨滴水不漏，但是其实首先这样做成本很高，架构师本来有时间可以做更加有价值的事情，另外封闭的项目本身也是缺乏活力的项目，制约了下面人的热情和创造力。 所以架构师，包括项目经理等管理层的角色，要控制住自己的管理欲望，管理该管的，必须管的，其他的 阅读全文

摘要： 两者都是优秀的序列化框架； Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案（此时已经有了thrift），用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案；也是一种高效传输的方案，代价就是它采用的是静态的IDL的方式，根据定义的接 阅读全文

摘要： Service Provider Interface； JDK提供的一种服务发现的机制；主要是用于厂商实现JDK的只用。 比如说打印机，JDK提供了一个驱动接口com.printl.printerDriver；爱普生公司将会提供 com.epson.EpsonPrinterDriver，惠普会提供c 阅读全文

摘要： 在java7之后可以使用try（resource1, resource2){...}这样声明之后，在try{}执行完成之后或者抛异常跳出，都会调用reouce1.close()，resource2.close()。和之前的finally块很像 但是有两点区别：1. try-with-resource 阅读全文

摘要： 最近研究zipkin，在研究客户端brave的时候，才算开始理解servlet了。 servlet只是tomcat被实例化一次； 之后每次访问其实都是对同一个servlet示例操作；所以，不要在servlet的实现中创建什么全局变量（实例变量），并发可能会有问题。 通过下面的示例可以测试出只是被实例 阅读全文

摘要： brave是同步收集信息，及计算调用时间，但是异步发送日志信息给zipkin；所以很多时候你无法在第一时间获取日志数据可能需要等一会。另外在写一个demo的时候，因为最后睡了1秒，经常会发现丢了一些日志；后来最后sleep（5000）之后，日志都成功获取了。 brave在report发送了一个日志之 阅读全文