2015年6月19日
kerberos+ladp+hadoop-ha 安全认证部署配置
摘要： 随着hadoop集群里的数据量越来越大,各业务数据都集中了里面,自然要为各业务都要提供数据支持,又希望各业务数据是相对独立安全的,这最时候就需要做安全认证了hadoop ha 测试集群部署规划hadoop ha 各服务器角色如下: 192.168.36.135 hadoopnn135.hadoop.... 阅读全文
posted @ 2015-06-19 22:36 shantuwqk 阅读(1083) 评论(0) 推荐(0)
hadoop-ha QJM架构应用故障总结
摘要： 部署hadoop-ha QJM架构过程我就不说了,参考　我的博客:hadoop-ha QJM架构部署故障一: namenode　报错日志如下: WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote jo... 阅读全文
posted @ 2015-06-19 22:34 shantuwqk 阅读(1237) 评论(0) 推荐(0)
hadoop-ha QJM 架构部署
摘要： 公司之前老的hadoop集群namenode有单点风险，最近学习此链接http://www.binospace.com/index.php /hdfs-ha-quorum-journal-manager/ 牛人上的hadoop高可用部署，受益非浅，自己搞了一个和自己集群比较匹配的部署逻辑图，供要用h... 阅读全文
posted @ 2015-06-19 22:30 shantuwqk 阅读(916) 评论(0) 推荐(0)
批量安装操作系统之cobbler
摘要： Cobbler 部署文档 服务端配置 操作系统：Centos6.4关闭防火墙及 selinux 安装cobbler软件 添加yum源rpm -Uvh https://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rp... 阅读全文
posted @ 2015-06-19 22:09 shantuwqk 阅读(383) 评论(0) 推荐(0)
python开发中常用的框架
摘要： 以下是15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。Django: Python Web应用开发框架Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全... 阅读全文
posted @ 2015-06-19 22:04 shantuwqk 阅读(815) 评论(0) 推荐(0)
网络服务器架构模型与比较
摘要： 事件驱动为广大的程序员所熟悉，其最为人津津乐道的是在图形化界面编程中的应用；事实上，在网络编程中事件驱动也被广泛使用，并大规模部署在高连接数高吞吐量的服务器程序中，如 http 服务器程序、ftp 服务器程序等。相比于传统的网络编程方式，事件驱动能够极大的降低资源占用，增大服务接待能力，并提高网络传... 阅读全文
posted @ 2015-06-19 22:03 shantuwqk 阅读(196) 评论(0) 推荐(0)
用fabric部署维护kle日志收集系统
摘要： 最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员... 阅读全文
posted @ 2015-06-19 21:59 shantuwqk 阅读(844) 评论(0) 推荐(0)
lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02
摘要： 因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis　整合在一起的日志管理应用： 安装，配置过程，使用情况等续 一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收 阅读全文
posted @ 2015-06-19 21:57 shantuwqk 阅读(3004) 评论(0) 推荐(0)
Nginx HA 及https配置部署
摘要： Nginx HA 整体方案架构为: (内网192.168.199.5) +-----------VIP----------+ | ... 阅读全文
posted @ 2015-06-19 21:53 shantuwqk 阅读(2374) 评论(0) 推荐(0)
Nginx 配置详解
摘要： 常用nginx做web,代理，缓存等功能，一些常用的配置，老记不住，记在这儿，好查用 感谢博主，整理了这么好的东西，愧转为已用。#定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型，... 阅读全文
posted @ 2015-06-19 21:50 shantuwqk 阅读(142) 评论(0) 推荐(0)
redis cluster安装部署(测试环境)
摘要： redis 应用于web前端，做缓存和数据存取的速度是挺可观的，最近看了一些资料，手痒了，就弄了一个测试环境，两台方案，试用一下。##Redis 集群部署##一，方案调研:参考博客:http://jolestar.com/redis-ha/http://www.luocs.com/archives/... 阅读全文
posted @ 2015-06-19 21:44 shantuwqk 阅读(640) 评论(0) 推荐(0)