TylerJin

摘要： Hadoop实现了org.apache.hadoop.log.LogLevel类用于动态调整日志级别 在LogLevel类中实现了org.apache.hadoop.log.LogLevel.CLI与org.apache.hadoop.log.LogLevel.Servlet用于支持从命令行以及Se 阅读全文

摘要： Hadoop提供了org.apache.hadoop.io.serializer.Serialization接口用于序列化的抽象 Hadoop默认提供了JavaSerialization、WritableSerialization以及Avro的实现，这三个实现类的accept的实现方式一致，都是根据 阅读全文

摘要： Hadoop提供了Writable以提供序列化功能，write方法用于将数据写入流中，readFields方法用于从流中读取数据 BooleanWritable实现了WritableComparable接口，为其提供比较的能力 同时Hadoop定义了RawComparator接口，以提供比较流中未被 阅读全文

摘要： Configuration：Conf核心类，加载配置 Configurable：简单的接口，定义了setConf、getConf方法 ConfigRedactor：提供了对敏感信息过滤的功能，敏感信息的pattern可以通过key：hadoop.security.sensitive-config-k 阅读全文

摘要： Hadoop 提供了自己的ARI org.apache.hadoop.conf.Configuration 用于管理系统配置. Configuration提供了 等方法用于以不同的形式加载配置，Hadoop会根据不同的形式构建Resource.由于Hadoop使用延迟加载的方式进行配置的加载，所以a 阅读全文

摘要： executor在执行一个Callable的时候，如果使用了discard的策略，就永远不可能把Future的状态修改了complete，这会造成Future的get方法永久性的阻塞 可以使用超时机制或者是另起ScheduleExecutor来cancel掉这个Future，如果cancel掉，那么 阅读全文

摘要： 硬链接相当于一个文件的别名，软链接相当于Windows系统的快捷方式，当一个文件所有的硬链接被删除时，文件被删除，而软连接删除不会影响文件 硬链接因为不同的文件系统可能出现iNode重复的情况，所有不可以交叉文件系统 阅读全文

摘要： public abstract class ConcurrentExecuteService { private int timeout = 5; private TimeUnit timeUnit = TimeUnit.SECONDS; private ScheduledExecutorService delayer; private ExecutorServ... 阅读全文

摘要： 大数据存储：HDFS、HBase 大数据计算： 批计算：MapReduce、Spark 流计算：Storm、Spark Streaming、Flink 大数据仓库：Hive、Spark SQL、Impala 大数据资源管理：Yarn 阅读全文

摘要： nsq使用装饰器模式封装http的请求响应，通过实现不同的装饰器来实现不同的功能 APIHandler用于处理http请求与响应，Decorator接收原始的handler，经过处理后返回新的handler 迭代器方法通过传入原始的handler以及迭代器组，实现相应迭代器的功能 以ping请求举例 阅读全文