正文内容加载中...
posted @ 2016-11-23 12:35 silianpan 阅读(240) 评论(0) 编辑
摘要: 什么是集群Nas 集群是由多个节点构成的一种松散耦合的计算节点集合,协同起来对外提供服务。集群主要分为高性能集群HPC,高可用集群HAC和负载均衡集群LBC。集群Nas是指协同多个节点(通常称为Nas机头)提供高性能、高可用或高负载均衡的Nas(NFC/CIFS)服务。 Nas三种主流架构 1.san共享存储架构 后端存储采用SAN,所有NAS集群节点通过光纤连接到SAN,共享所有的存储设备,通常...阅读全文
posted @ 2016-02-25 09:28 silianpan 阅读(1062) 评论(0) 编辑
摘要: git add 你所添加的文件或者文件夹git commitgit push阅读全文
posted @ 2015-11-24 21:35 silianpan 阅读(38) 评论(0) 编辑
摘要: #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2015-03-20 09:46:20 # Project: fly_spider import re import time #from pyspider.database.mysql.mysqldb import SQL from pyspider.libs.base_h...阅读全文
posted @ 2015-09-30 14:52 silianpan 阅读(551) 评论(0) 编辑
摘要: 以第一ppt网站为例:http://www.1ppt.com/ from pyspider.libs.base_handler import * import urllib2,HTMLParser,re import urllib2,HTMLParser,re #根url host = "http://www.1ppt.com/" #本地保存地址 localSavePath = '/data/...阅读全文
posted @ 2015-09-30 14:50 silianpan 阅读(1231) 评论(0) 编辑
摘要: 一、ceph架构 ceph生态系统分为四个部分: 客户端:数据用户 元数据服务器:缓存和同步分布式元数据 对象存储集群 ceph客户端 ceph使用一个有趣的备选,而不是依赖分配选项(将磁盘上的块映射到指定文件的元数据)。 Linux透视图中的一个文件会分配到一个来自元数据服务器的inode number(INO),对于文件这是一个唯一的标识符。然后文件被推入一些对象中(根据文件大小)。使用IN...阅读全文
posted @ 2015-09-18 15:08 silianpan 阅读(1062) 评论(0) 编辑
摘要: ssh-keygen -t rsa ssh-copy-id -i /root/.ssh/id-rsa.pub root@10.0.0.109 # 实现和109互通 vim /etc/hosts DNS解析阅读全文
posted @ 2015-09-16 11:17 silianpan 阅读(55) 评论(0) 编辑
摘要: Linux系统信息: Version: Centos 6.6 Ip address:10.0.0.104 Hostname: extmail.com 配置系统 hostname Vim /etc/sysconfig/network Vim /etc/hosts Vim /etc/resolv.conf 安装 Yum install bind bind-libs bind-chroot ...阅读全文
posted @ 2015-09-11 15:31 silianpan 阅读(178) 评论(0) 编辑
摘要: cp conf/flume-env.sh.template conf/flume-env.sh 打开flume-env.sh,配置Java环境变量 [root@test1 apache-flume-1.6.0-bin]# vim conf/flume.conf # Define a memory channel called ch1 on agent1 agent1.channels.ch1...阅读全文
posted @ 2015-08-21 15:55 silianpan 阅读(81) 评论(0) 编辑
摘要: 一、什么是Flume NG Flume是一个分布式、可靠、和高可用性的海量日志采集、聚合和传输的系统,支持在日志系统中定制各类数据发送方,用于收集数据;同时Flume提供对数据的简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 Flume的初始版本称为Flume OG,后来重构核心组件、核心配置及代码结构,重命名为Flume NG(Next Gerneration),Flu...阅读全文
posted @ 2015-08-21 15:43 silianpan 阅读(310) 评论(0) 编辑