摘要: 1. 简介 由于部门要将统计出来的数据提供给其他部门同事使用,以及其他公司使用。考虑数据的传输管理简单,我们搭建了ftp文件服务器。2. 部署架构1)数据源在内网上面的,数据分析服务器上计算完成,然后内网通过rsync同步到ftp服务器上。 ftp-server rsync配置: 1 [root... 阅读全文
posted @ 2015-07-03 22:08 51runsky 阅读(347) 评论(0) 推荐(0)
摘要: find命令的主要应用示例: /> ls -l #列出当前目录下所包含的测试文件 -rw-r--r--. 1 root root 48217 Nov 12 00:57 install.log -rw-r--r--. 1 root root 37 Nov 12 00:56 testfile.dat -... 阅读全文
posted @ 2015-06-28 10:43 51runsky 阅读(185) 评论(0) 推荐(0)
摘要: 背景: 由于Megacli以及hpacucli工具查看raid、硬盘信息时不方便查看,特编写shell脚本格式处理,方便管理。showdisk.sh 1 #!/bin/bash 2 ## useage: check raid info 3 ## Check HP or DELL and Other ... 阅读全文
posted @ 2015-06-15 15:20 51runsky 阅读(520) 评论(0) 推荐(0)
摘要: 命令原型时间复杂度命令描述返回值KEYSpatternO(N)时间复杂度中的N表示数据库中Key的数量。获取所有匹配pattern参数的Keys。需要说明的是,在我们的正常操作中应该尽量避免对该命令的调用,因为对于大型数据库而言,该命令是非常耗时的,对Redis服务器的性能打击也是比较大的patte... 阅读全文
posted @ 2015-06-15 14:00 51runsky 阅读(340) 评论(0) 推荐(0)
摘要: ping# 客户端和服务器连接正常redis> PINGPONG# 客户端和服务器连接不正常(网络不正常或服务器未能正常运行)redis 127.0.0.1:6379> PINGCould not connect to Redis at 127.0.0.1:6379: Connection refu... 阅读全文
posted @ 2015-06-15 13:57 51runsky 阅读(528) 评论(0) 推荐(0)
摘要: 安装配置首先,编译、安装、配置libevent库,执行如下命令:1wgethttps://github.com/downloads/libevent/libevent/libevent-1.4.14b-stable.tar.gz2tarxvzf libevent-1.4.14b-stable.tar... 阅读全文
posted @ 2015-06-15 13:37 51runsky 阅读(1748) 评论(0) 推荐(0)
摘要: 1. 来源和特点 源自于Google的MapReduce论文 : 发表于2004年12月 Hadoop MapReduce是Google MapReduce克隆版 特点: 易于编程 良好的扩展性 高容错性 适合PB级以上海量数据的离线处理 不擅长的方面: 实时计算 像MySQL一样,在毫秒级或者秒级内返回结果 ... 阅读全文
posted @ 2015-06-15 11:03 51runsky 阅读(171) 评论(0) 推荐(0)
摘要: 一. yarn产生背景: 1. mapreduce 1.0的问题: 1)JobTracker性能问题 , 2)JobTracker单点问题 ,3)只支持mapreduce一个计算框架 2. 资源利用率:3. 运维成本与数据共享: 运维成本 如果采用“一个框架一个集群”的模式,则可能需要多个管理员管理这些集群,进而增加运维成本,而共享模式通常需要少数管理员即可完成多个框架的统一... 阅读全文
posted @ 2015-06-15 11:01 51runsky 阅读(221) 评论(0) 推荐(0)
摘要: 1、修改ip地址、网关、主机名、DNS等12345678910111213141516171819202122232425262728293031[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 #... 阅读全文
posted @ 2015-06-14 09:52 51runsky 阅读(203) 评论(0) 推荐(0)
摘要: 一、free命令[root@xen_202_12 /]# free -m total used free shared buffers cachedMem: 3072 2459 612 0 207 1803-/+ buffers/cache:... 阅读全文
posted @ 2015-06-14 09:49 51runsky 阅读(186) 评论(0) 推荐(0)