I’m Me!

摘要： 一、Kerberos Concept Kerberos是一种网络认证协议，其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务，为通信双方提供双向身份认证。 Kerberos关键术语： KDC提供两大主要功能：认证服务器(Authentication Service,AS)和票据授权服 阅读全文

摘要： 一、引言： 单个salt-master下的minion数已经达到2101个了，所以在master日志有如下的提示： 如果不能解决这个问题将无数加入新节点。从日志中可以看出max open files的值是4096，很奇怪！ 通过ulimit -a看到open files是65535，从这里联想到是不 阅读全文

摘要： 一、引言： Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。 阅读全文

摘要： 一、Satlstack的概述 Saltstack是什么？ Salt是一种和以往不同的基础设施管理方法，它是建立在大规模系统高速通讯能力可以大幅提升的想法上。这种方法使得Salt成为一个强大的能够解决基础设施中许多特定问题的多任务系统。远程执行引擎是Salt的核心，它能够为多组系统创建高速、安全的双向 阅读全文

摘要： 一、自动报表前期工作： 需要安装XlsxWriter模块，可以从github上下载以后解压、setup.py install。 二、程序： 三、后续： 考虑到本次程序是单一的，以后可以考虑到放到django中，通过salt-api来调用，并从页面出口。 阅读全文

摘要： 一、引言： 今天是19号，距离上一篇随笔已经快一个月了。这中间让我变成了一个北漂，经历了第一个618。 二、618： 虽然本次618不是主力军，但是也切身体会了运维狗的不容易。 本篇随笔写了一个开头以后又给放下了，再想写下去的时候已经是一个月以后。可能跟我这个人有关系，有很强烈的拖延症。 618再见 阅读全文

摘要： 一、H标签 标题(Heading)是通过<h1>-<h6>等标签进行定义的。 <h1>定义最大的标题，<h6>定义最小的标题。 未完待续。。。。 阅读全文

摘要： 一、引言： 某一天，开发哥们跟我反映lftp和java写的ftp程序下载文件有问题，具体情况如下：当一个大于1G的文件已经下载完毕以后一直出现夯住的情况。为了重现开发哥们所说情况，我就自己用pytho写了一个ftp的脚本，其中就有调用ftplib模块。下面重点介绍一下ftplib模块。 二、ftpl 阅读全文

摘要： 一、引言： 快下班的时候我开发同事问能不能将hive中drop掉的数据恢复过来，我记得是有开回收站的，当时我回答说可以恢复的。 二、恢复过程： 在之前我有对hadoop的回收站有过了解，就是将hdfs dfs -rm删除掉的文件进行恢复，只需要hdfs dfs -mv将文件从回收站中搬过来就行，我就 阅读全文

摘要： 一、引言： 在一次和同事的讨论中遇到一个这样的问题：有一个hadoop集群，在hbase的put数据出现瓶颈，他们想要把datanode上的磁盘做成RAID 0(比如10块磁盘做成一个RAID 0)，我当时就说这样的做法不太好，但是没有给出充足的理由不好反驳，只是说官方建议每块磁盘做成单独的RAID 阅读全文