摘要： 最近一直在折腾VPS，凭借着以前用Ubuntu的经验，现在使用CentOS 5，上手感觉还是挺快的，最少不会很不知所措。用VPS也大半年了，感觉VPS确实是一个很耐折腾的玩意儿，但是如果你网站需要很严格的在线率而你又对数据很看重的话还是不要用VPS来做站，即便是使用了VPS来做站也要时刻注意备份！！！当然如果你的网站不是流量很大那种，还是推荐使用成熟主机商提供的虚拟主机，DreamHost就是非常不错的选择，本身对中国访问就非常友好，第一年使用优惠也比较多。另外它的SSH还非常快，平时拿来翻个小强是很不错。扯远了。这里主要记录下折腾Nginx的反向代理的一些经验。当然，你得安装Nginx。如果 阅读全文

摘要： 有两周没有看过论文了，五一假期抽空看了Berkeley的PH.D Ganesh的最新发表在Eurosys11上的牛文---Scarlett:coping with Skewed Content Popularity in MapReduce Clusters收获良多，这里和大家分享一下。背景：经过对于Bing上执行Hadoop和Dryad的集群的日志分析，框架为了提高作业的执行效率，使得尽可能地将计算迁移到数据所在位置，这里位置可以是数据块所在的节点或者所在rack。一般认为，Rack之间的数据传输是应该尽量避免的。但是，Hadoop和Dryad分别都是如何做的呢？1) Scarlett通过增 阅读全文

摘要： 点评：昨天遇到了要在Linux下删除海量文件的情况，需要删除数十万个文件。这个是之前的程序写的日志，增长很快，而且没什么用这个时候，我们常用的删除命令rm -fr * 就不好用了，因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。1、先安装rsync：代码如下:yum install rsync2、建立一个空的文件夹：代码如下:mkdir /tmp/test3、用rsync删除目标目录：代码如下:rsync --delete-before -a -H -v --progress --stats /tmp/test log这样我们要删除的log目录就 阅读全文

摘要： 在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。Rsync的命令格式可以为以下六种： rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... [USER@]HOST::SRC DEST rsync [OPTION]... SRC [US... 阅读全文

摘要： 1、 概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间（见参考资料[1][4][5]）。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode 阅读全文

摘要： 原文地址：http://blog.csdn.net/hopeztm/article/details/8026457上机考试：网易有道的筛选模式是先上机考试，然后根据上机考试选择大概1/3参加面试。上机的平台和ACM有点类似，提交代码然后有手动阅卷。上机考试时隔比较久远，不过还能想起两个题目：1. 给定一个点分IP地址表示，写个程序把它转换成相应的32位的无符号整数并输出，如果输入不是合法数据，就返回0.这个题目如何利用好标准输入输出，其实可以很容易判断出不合法的输入用例，不过当时没有想好，导致这个题目没有AC。后来回去写的代码如下：[cpp]view plaincopy#include< 阅读全文

摘要： 1 实现正则表达式函数，正则表达式中含有 * ？2 给定三元组（buy，count，prize）（sell，count，prize）指定prize x，是的大于prize的buy都可以买到，小于prize的sell都能卖出去，满足条件的x使得交易量最大3 阅读全文

摘要： 用vmware搭建三台Linux虚拟机，具体步骤如下：1、hadoop下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/2、下载java6软件包，分别在三台安装3、三台虚拟机，一台作为master，另外两台作为slave，分别配置/etc/hosts 172.16.130.136 masternode 172.16.130.137 slavenode1 172.16.130.138 slavenode24、在三台主机/etc/profile设置环境变量export JAVA_HOME=/usr/java/jdk1.6.0_13expor 阅读全文

摘要： 最简单的方法，开个O（n)的空间，扫描一遍，吧出现的数的记录下来。再扫描一下找出丢失的数字。时间复杂度O（n)如果不允许开空间：可以排序，然后遍历一遍找出未出现的数。采用基数排序O（d*n)，当n<=100000是复杂度 O(7*n)解决O（n)，不过破坏了原来的数组不破坏原来数组的方法：如果小于n个数补0 补成n个数。扫描数组，if(a[i]>0)a[a[i]]+=2*n;再扫描一遍 if(a[i]<=n) cout<<i<< " ";else a[i] -= 2*n;//恢复数组O(2*n)，不破坏原数组 阅读全文

摘要： 在虚拟内存管理的实现中，最关键的就是页面的调入策略和页面的置换算法。 页面的调入策略主要有两种：预先调入策略和页面请求调入策略。由于前者需要对进程的运行过程进行一定量的预测，所以实现起来比较困难和低效，所以经常采用的是后一种策略，即当执行进程所需的某个页面不在内存时，产生缺页中断，再由专门的缺页中断服务程序(ISR)根据进程页表将所需页面调入内存。 当缺页中断服务程序发现，内存中已经没有空闲的物理页面(通常称之为帧)时，就会执行一种页面换出程序，它采取一定的置换算法将某个页面换出到外存的交换(文件)分区。通常，衡量一种页面置换算法性能好坏的指标就是对于大量的页面请求序列，在一定数量的物理帧.. 阅读全文