摘要：Hadoop调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler 具体设置详见：yarn-default.xml文件 <property> <description>The cla 阅读全文

摘要：Hdfs: 一、HDFS运行机制 概述：用户的文件会被切块后存储在多台datanode节点中，并且每个文件在整个集群中存放多个副本，副本的数量可以通过修改配置自己设定。 HDFS：Hadoop Distributed file system，分布式文件系统。 HDFS的机制： HDFS集群中，有两种 阅读全文

摘要：序列化概述: 阅读全文

摘要：POSIX介绍：POSIX表示可移植操作系统接口（Portable Operating System Interface ，缩写为 POSIX ），POSIX标准定义了操作系统应该为应用程序提供的接口标准，是IEEE为要在各种UNIX操作系统上运行的软件而定义的一系列API标准的总称，其正式称呼为I 阅读全文

摘要：在shell脚本的开头往往有一句话来定义使用哪种sh解释器来解释脚本。目前研发送测的shell脚本中主要有以下两种方式：(1) #!/bin/sh(2) #!/bin/bash脚本test.sh内容：#!/bin/shsource pcy.sh #pcy.sh并不存在echo hello执行./te 阅读全文