2015年7月3日
虚拟账号ftp服务器
摘要： 1. 简介 由于部门要将统计出来的数据提供给其他部门同事使用，以及其他公司使用。考虑数据的传输管理简单，我们搭建了ftp文件服务器。2. 部署架构1）数据源在内网上面的，数据分析服务器上计算完成，然后内网通过rsync同步到ftp服务器上。 ftp-server rsync配置： 1 [root... 阅读全文
posted @ 2015-07-03 22:08 51runsky 阅读(347) 评论(0) 推荐(0)
2015年6月28日
find命令
摘要： find命令的主要应用示例： /> ls -l #列出当前目录下所包含的测试文件 -rw-r--r--. 1 root root 48217 Nov 12 00:57 install.log -rw-r--r--. 1 root root 37 Nov 12 00:56 testfile.dat -... 阅读全文
posted @ 2015-06-28 10:43 51runsky 阅读(185) 评论(0) 推荐(0)
2015年6月15日
Megacli格式化显示脚本
摘要： 背景： 由于Megacli以及hpacucli工具查看raid、硬盘信息时不方便查看，特编写shell脚本格式处理，方便管理。showdisk.sh 1 #!/bin/bash 2 ## useage: check raid info 3 ## Check HP or DELL and Other ... 阅读全文
posted @ 2015-06-15 15:20 51runsky 阅读(520) 评论(0) 推荐(0)
1. Redis--KEY（键）
摘要： 命令原型时间复杂度命令描述返回值KEYSpatternO(N)时间复杂度中的N表示数据库中Key的数量。获取所有匹配pattern参数的Keys。需要说明的是，在我们的正常操作中应该尽量避免对该命令的调用，因为对于大型数据库而言，该命令是非常耗时的，对Redis服务器的性能打击也是比较大的patte... 阅读全文
posted @ 2015-06-15 14:00 51runsky 阅读(340) 评论(0) 推荐(0)
0. Redis-Server（操作）
摘要： ping# 客户端和服务器连接正常redis> PINGPONG# 客户端和服务器连接不正常(网络不正常或服务器未能正常运行)redis 127.0.0.1:6379> PINGCould not connect to Redis at 127.0.0.1:6379: Connection refu... 阅读全文
posted @ 2015-06-15 13:57 51runsky 阅读(528) 评论(0) 推荐(0)
Memcached安装、配置、使用详解
摘要： 安装配置首先，编译、安装、配置libevent库，执行如下命令：1wgethttps://github.com/downloads/libevent/libevent/libevent-1.4.14b-stable.tar.gz2tarxvzf libevent-1.4.14b-stable.tar... 阅读全文
posted @ 2015-06-15 13:37 51runsky 阅读(1748) 评论(0) 推荐(0)
4. MapReduce
摘要： 1. 来源和特点 源自于Google的MapReduce论文 ： 发表于2004年12月 Hadoop MapReduce是Google MapReduce克隆版 特点： 易于编程 良好的扩展性 高容错性 适合PB级以上海量数据的离线处理 不擅长的方面： 实时计算 像MySQL一样，在毫秒级或者秒级内返回结果 ... 阅读全文
posted @ 2015-06-15 11:03 51runsky 阅读(171) 评论(0) 推荐(0)
5. yarn
摘要： 一. yarn产生背景： 1. mapreduce 1.0的问题： 1）JobTracker性能问题 ， 2）JobTracker单点问题 ，3）只支持mapreduce一个计算框架 2. 资源利用率：3. 运维成本与数据共享： 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一... 阅读全文
posted @ 2015-06-15 11:01 51runsky 阅读(221) 评论(0) 推荐(0)
2015年6月14日
装机初始优化
摘要： 1、修改ip地址、网关、主机名、DNS等12345678910111213141516171819202122232425262728293031[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 #... 阅读全文
posted @ 2015-06-14 09:52 51runsky 阅读(203) 评论(0) 推荐(0)
free命令（buffer and cache）
摘要： 一、free命令[root@xen_202_12 /]# free -m total used free shared buffers cachedMem: 3072 2459 612 0 207 1803-/+ buffers/cache:... 阅读全文
posted @ 2015-06-14 09:49 51runsky 阅读(186) 评论(0) 推荐(0)