上一页 1 2 3 4 5 6 ··· 18 下一页
摘要: 一、Kerberos Concept Kerberos是一种网络认证协议,其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务,为通信双方提供双向身份认证。 Kerberos关键术语: KDC提供两大主要功能:认证服务器(Authentication Service,AS)和票据授权服 阅读全文
posted @ 2016-09-21 23:18 I’m Me! 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 一、引言: 单个salt-master下的minion数已经达到2101个了,所以在master日志有如下的提示: 如果不能解决这个问题将无数加入新节点。从日志中可以看出max open files的值是4096,很奇怪! 通过ulimit -a看到open files是65535,从这里联想到是不 阅读全文
posted @ 2016-09-10 22:09 I’m Me! 阅读(1951) 评论(0) 推荐(0) 编辑
摘要: 一、引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。 阅读全文
posted @ 2016-08-25 18:22 I’m Me! 阅读(15695) 评论(2) 推荐(0) 编辑
摘要: 一、Satlstack的概述 Saltstack是什么? Salt是一种和以往不同的基础设施管理方法,它是建立在大规模系统高速通讯能力可以大幅提升的想法上。这种方法使得Salt成为一个强大的能够解决基础设施中许多特定问题的多任务系统。远程执行引擎是Salt的核心,它能够为多组系统创建高速、安全的双向 阅读全文
posted @ 2016-08-20 13:43 I’m Me! 阅读(1442) 评论(0) 推荐(0) 编辑
摘要: 一、自动报表前期工作: 需要安装XlsxWriter模块,可以从github上下载以后解压、setup.py install。 二、程序: 三、后续: 考虑到本次程序是单一的,以后可以考虑到放到django中,通过salt-api来调用,并从页面出口。 阅读全文
posted @ 2016-07-12 13:57 I’m Me! 阅读(4605) 评论(0) 推荐(0) 编辑
摘要: 一、引言: 今天是19号,距离上一篇随笔已经快一个月了。这中间让我变成了一个北漂,经历了第一个618。 二、618: 虽然本次618不是主力军,但是也切身体会了运维狗的不容易。 本篇随笔写了一个开头以后又给放下了,再想写下去的时候已经是一个月以后。可能跟我这个人有关系,有很强烈的拖延症。 618再见 阅读全文
posted @ 2016-06-19 17:16 I’m Me! 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 一、H标签 标题(Heading)是通过<h1>-<h6>等标签进行定义的。 <h1>定义最大的标题,<h6>定义最小的标题。 未完待续。。。。 阅读全文
posted @ 2016-05-03 10:35 I’m Me! 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 一、引言: 某一天,开发哥们跟我反映lftp和java写的ftp程序下载文件有问题,具体情况如下:当一个大于1G的文件已经下载完毕以后一直出现夯住的情况。为了重现开发哥们所说情况,我就自己用pytho写了一个ftp的脚本,其中就有调用ftplib模块。下面重点介绍一下ftplib模块。 二、ftpl 阅读全文
posted @ 2016-03-29 13:13 I’m Me! 阅读(5587) 评论(0) 推荐(1) 编辑
摘要: 一、引言: 快下班的时候我开发同事问能不能将hive中drop掉的数据恢复过来,我记得是有开回收站的,当时我回答说可以恢复的。 二、恢复过程: 在之前我有对hadoop的回收站有过了解,就是将hdfs dfs -rm删除掉的文件进行恢复,只需要hdfs dfs -mv将文件从回收站中搬过来就行,我就 阅读全文
posted @ 2016-03-24 13:19 I’m Me! 阅读(9332) 评论(0) 推荐(0) 编辑
摘要: 一、引言: 在一次和同事的讨论中遇到一个这样的问题:有一个hadoop集群,在hbase的put数据出现瓶颈,他们想要把datanode上的磁盘做成RAID 0(比如10块磁盘做成一个RAID 0),我当时就说这样的做法不太好,但是没有给出充足的理由不好反驳,只是说官方建议每块磁盘做成单独的RAID 阅读全文
posted @ 2016-03-24 12:58 I’m Me! 阅读(8652) 评论(2) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 18 下一页