丹江湖畔养蜂子的赵大爹

摘要： jenkins console输出乱码??? 在jenkins中job执行shell，console中出现乱码如下： jenkins job的配置如下： 构建 Execute Shell: 其中，job的shell构建中 echo "$LANG" 的输出结果是“zh_CN.UTF 8”；但系统终端中 阅读全文

摘要： spark的standlone模式安装 安装一个standlone模式的spark集群，这里是最基本的安装，并测试一下如何进行任务提交。 require：提前安装好jdk 1.7.0_80 ；scala 2.11.8 可以参考官网的说明：http://spark.apache.org/docs/la 阅读全文

摘要： 过时的属性：Deprecated Properties ===================== 该列表保存于：hadoop 2.7.3 src\hadoop common project\hadoop common\src\site\markdown 目录 下表列出了在这个版本的Hadoop过时 阅读全文

摘要： /etc/update motd.d/90 updates available cd /etc/update motd.d/ vi 10 help text 修改或者注释掉里面的内容 vi 90 updates available 修改或者注释掉里面的内容 更多原理参考：《http://debugw 阅读全文

摘要： Hbase的配置和安装 1. 解压hbase、配置HBASE_HOME 2. 修改$HBASE_HOME/conf/hbase env.sh文件 //指定JDK路径 export JAVA_HOME=/usr/java/jdk1.8.0_45 //告诉hbase使用外部的zk export HBAS 阅读全文

摘要： python起的 simpleHTTPServer服务传输文件 经同事的介绍，在Linux上传输文件的一种特别方便的方法： python m SimpleHTTPServer 【端口】 端口不填 默认8000 然后这个http服务就会读这个文件夹和这个文件夹下的子文件夹下的文件 就是HTTP 的资源 阅读全文

摘要： hadoop修改MR的提交的代码程序的副本数 Under Replicated Blocks的数量很多,有7万多个。hadoop fsck blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。 原因：MR,hive 的程序代码上传到h 阅读全文

摘要： Fair Scheduler 队列设置经验总结 由于公司的hadoop集群的计算资源不是很充足，需要开启yarn资源队列的资源抢占。在使用过程中，才明白资源抢占的一些特点。在这里总结一下。 只有一个队列的资源小于设置的 最小资源时，才有可能启动资源抢占。 只要所有的资源队列的最小资源之和小于等于集群 阅读全文

摘要： 有时候我们需要创建一个任务，这个任务有多个下游任务，在所有下游任务执行成功后再触发一个join操作。 这种场景可以使用JoinTrigger的触发器来实现。 该场景对应的拓扑结构如下： 该触发器的详细介绍可以参考官方介绍： https://wiki.jenkins-ci.org/display/JE 阅读全文

摘要： 我们如果下面这种拓扑结构的调度任务，该任务的拓扑结构就是一个有向五环图DAG，有fork，有join的操作等。 可以通过jenkins创建MultiJob的任务实现： 实例任务的拓扑结构： MultiJobTest >job-s1-1 | >job-s1-1 | | >job-s2-1 | | >j 阅读全文