2015年6月24日
logstash grok 分割匹配日志
摘要： 使用logstash的时候，为了更细致的切割日志，会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/resul... 阅读全文
posted @ 2015-06-24 22:51 shantuwqk 阅读(19709) 评论(0) 推荐(0)
部署维护docker环境
摘要： 其实前面已经用salt，安装部署了docker应用环境了，过程中还是遇到了不少问题，所以这里再相对仔细的记录一下，docker手机安装过程应注意的事情 安装过程部分参考了刘天斯大师文档部署1,安装环境说明系统环境：centos6.6服务应用了: haproxy confd etcd do... 阅读全文
posted @ 2015-06-24 22:50 shantuwqk 阅读(571) 评论(0) 推荐(0)
mongodb维护常用命令
摘要： 一,用户操作:1. #进入数据库adminuse admin2. #增加或修改用户密码db.addUser('name','pwd')3. #查看用户列表db.system.users.find()4. #用户认证db.auth('name','pwd')5. #删除用户db.removeUser(... 阅读全文
posted @ 2015-06-24 22:48 shantuwqk 阅读(498) 评论(0) 推荐(0)
2015年6月19日
kerberos+ladp+hadoop-ha 安全认证部署配置
摘要： 随着hadoop集群里的数据量越来越大,各业务数据都集中了里面,自然要为各业务都要提供数据支持,又希望各业务数据是相对独立安全的,这最时候就需要做安全认证了hadoop ha 测试集群部署规划hadoop ha 各服务器角色如下: 192.168.36.135 hadoopnn135.hadoop.... 阅读全文
posted @ 2015-06-19 22:36 shantuwqk 阅读(1083) 评论(0) 推荐(0)
hadoop-ha QJM架构应用故障总结
摘要： 部署hadoop-ha QJM架构过程我就不说了,参考　我的博客:hadoop-ha QJM架构部署故障一: namenode　报错日志如下: WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote jo... 阅读全文
posted @ 2015-06-19 22:34 shantuwqk 阅读(1237) 评论(0) 推荐(0)
hadoop-ha QJM 架构部署
摘要： 公司之前老的hadoop集群namenode有单点风险，最近学习此链接http://www.binospace.com/index.php /hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部署，受益非浅，自己搞了一个和自己集群比较匹配的部署逻辑图，供要用h... 阅读全文
posted @ 2015-06-19 22:30 shantuwqk 阅读(916) 评论(0) 推荐(0)
批量安装操作系统之cobbler
摘要： Cobbler 部署文档 服务端配置 操作系统：Centos6.4关闭防火墙及 selinux 安装cobbler软件 添加yum源rpm -Uvh https://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rp... 阅读全文
posted @ 2015-06-19 22:09 shantuwqk 阅读(383) 评论(0) 推荐(0)
python开发中常用的框架
摘要： 以下是15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。Django: Python Web应用开发框架Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全... 阅读全文
posted @ 2015-06-19 22:04 shantuwqk 阅读(815) 评论(0) 推荐(0)
网络服务器架构模型与比较
摘要： 事件驱动为广大的程序员所熟悉，其最为人津津乐道的是在图形化界面编程中的应用；事实上，在网络编程中事件驱动也被广泛使用，并大规模部署在高连接数高吞吐量的服务器程序中，如 http 服务器程序、ftp 服务器程序等。相比于传统的网络编程方式，事件驱动能够极大的降低资源占用，增大服务接待能力，并提高网络传... 阅读全文
posted @ 2015-06-19 22:03 shantuwqk 阅读(196) 评论(0) 推荐(0)
用fabric部署维护kle日志收集系统
摘要： 最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员... 阅读全文
posted @ 2015-06-19 21:59 shantuwqk 阅读(844) 评论(0) 推荐(0)