短链接就不说了，大家已经都清楚了，如下所示就是短链接：

新浪微博     http://t.cn/SVpONM

腾讯微博     http://url.cn/302yor

Yun.io         http://d.yun.io/PNri2v

短链接的好处：1、内容需要；2、用户友好；3、便于管理。

如何实现呢，大概有三个步骤：

1、定义一个URL映射算法，可以将长的URL映射成短字符串；

2、使用一个存储（数据库？NoSQL？）来存储完成的映射；

3、实现自己的URL映射算法；

一般来说，第三步是我们比较头疼的，如何将一个长的URL字符串，映射成一个较短的字符串呢。我总结了三种办法：

普通实现

我想以前大家学习过十进制和二进制的互相转换，或者十进制和十六进制的互相转换，那么为了更短，我们可以使用62进制，对于一个数字ID进行转码，转换成一个短字符串。

这种做法的缺点是没有办法保证所有链接都是固定的位数的长度，而且在高并发的情况下，如何保证能够快速分发是个问题。

具体实现方法：

    /**
     * 利用62进制对数字ID进行短链接编码，缺点不能保证每个短链接是固定长度
     *
     * @author  wanshiqiang<wangshiqiang@360.cn>
     * @param integer $integer
     * @param string $base
     */
    private function getShortenedURLFromID ($integer, $base = ALLOWED_CHARS)
    {  
        $length = strlen($base);
        while($integer > $length - 1)
        {  
            $out = $base[fmod($integer, $length)] . $out;
            $integer = floor( $integer / $length );
        }  
        return $base[$integer] . $out;
    }  
    /**
     * 对62进制编码的短链接进行解码
     *
     * @author  wangshiqiang<wangshiqiang@360.cn>
     * @param string $string
     * @param string $base
     */
    private function getIDFromShortenedURL ($string, $base = ALLOWED_CHARS)
    {  
        $length = strlen($base);
        $size = strlen($string) - 1;
        $string = str_split($string);
        $out = strpos($base, array_pop($string));
        foreach($string as $i => $char)
        {  
            $out += strpos($base, $char) * pow($length, $size - $i);
        }  
        return $out;
    }

文艺实现

算法描述：使用6个字符来表示短链接，我们使用ASCII字符中的'a'-'z','0'-'5'，共计32个字符做为集合。每个字符有32种状态，六个字符就可以表示32^6（1073741824），那么如何得到这六个字符，描述如下：

对传入的长URL进行Md5，得到一个32位的字符串，这个字符串变化很多，是16的32次方，基本上可以保证唯一性。将这32位分成四份，每一份8个字符，这时机率变成了16的8次方，是4294967296，这个数字碰撞的机率也比较小啦，关键是后面的一次处理。我们将这个8位的字符认为是16进制整数，也就是1*('0x'.$val)，然后取0-30位，每5个一组，算出他的整数值，然后映射到我们准备的32个字符中，最后就能够得到一个6位的短链接地址。

PHP实现如下：

function shorten( $long_url )
{
     $base32 = "abcdefghijklmnopqrstuvwxyz012345";
     $hex = md5( $long_url );
     $hexLen = strlen( $hex );
     $subHexLen = $hexLen / 8;
     $output = array();
     for( $i = 0; $i < $subHexLen; $i++ )
     {
          $subHex = substr( $hex, $i * 8, 8 );
          $subHex = 0x3FFFFFFF & ( 1 * ('0x' . $subHex ) );

　　　 $out = ''; 

          for( $j = 0; $j < 6; $j++ )
          {
               $val = 0x0000001F & $int;
               $out .= $base32[$val];
               $int = $int >> 5;
          }
          $output[] = $out;
     }
     return $output;
}

二逼实现

下面这个函数使用了纯随机的方式来生成一个短链接，虽然我们可以通过查询操作来确保不重复使用短链接，可是... 这样真的靠谱吗~~

function random($length, $pool = '') {
     $random = '';
     if (empty($pool)) { $pool    = 'abcdefghkmnpqrstuvwxyz'; $pool   .=
     '23456789'; }
     srand ((double)microtime()*1000000);
     for($i = 0; $i < $length; $i++) { $random .=
     substr($pool,(rand()%(strlen ($pool))), 1); }
     return $random;
}

参考资料：

1、微博短地址原理解析

2、微博短域名原理及作用

3、Yours.org

4、Free PHP URL Shorten script that kicks ass

5、PHP Short Url Algorithm Implementation

6、Implement your own short URL

7、短网址算法初步汇总

8、Short Url 实现方式

通过本节的学习，可以掌握如何在单节点上使用Hadoop进行Map/Reduce以及HDFS存储的实现。

环境要求：

支持的平台：

     支持GNU/Linux平台，可以作为测试和生产环境使用。Hadoop在2000个节点的生产环境中经受过考验。

     支持Win32平台作为测试环境，正式环境的测试还不够充分，所以发布版暂时不能支持Win32环境。

需要的软件：

     1、Java 1.6.x，必须。

     2、ssh、sshd，必须。

     如果是在Windows环境下，你也许需要 Cygwin。

安装必要的软件

     如果服务器没有必要的软件，就必须进行安装。不同的发行版本，有不同的安装方法。例如Ubuntu下：

     $ sudo apt-get install ssh

     $ sudo apt-get install rsync

下载Hadoop

     从 这里 下载一个Hadoop的稳定版本。

开始我们的Hadoop之旅

     解压下载的软件，在解压后的目录中，编辑 conf/hadoop-env.sh 脚本设置服务器的JAVA_HOME目录。

     我的环境是 Centos6.0，yum安装了OPEN-JDK，对应的目录为：

          /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre/

     执行 bin/hadoop 命令，如果如下图所示，我们就做好使用 Hadoop 的准备了。

     可以用三种方式使用Hadoop：

          本地模式(Local Standalone Mode)；

          伪分布式模式(Pseudo-Distributed Mode)；

          完全分布式模式；

本地模式

     默认情况下，Hadoop是配置为本地运行的，以一个单独的Java进程运行，这种方式非常适合Debug。

     在本地，我选择了对 194Mb 的访问日志进行分析，如下代码：

         bin/hadoop jar hadoop-examples-0.20.203.0.jar grep input/ output/ 'favicon[a-z.]+'

     这个任务是分析日志中出现的favicon的次数，统计结果如下：

     其中part文件中存储了我要查找的favicon字符串出现的次数。

伪分布式模式

配置：

     参照官方的配置进行，分别对conf/core-site.xml、conf/hdf-site.xml、conf/mapred-site.xml进行配置。配置的内容都比较类似，主要是配置一个服务器的主机名，然后配置对应的IP或值。

设置无需密码的SSH：

     按照官方的设置

     $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

     $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

     但是第一次登陆的时候始终需要提示是否保存，这个有点不得其解。

执行：

     首先格式化一个新的分布式文件系统

     $ bin/hadoop namenode -format

     完成后，会有一些提示，根据提示可以在 /tmp/hadoop-root/dfs 中找到两个文件夹。

     然后启动 Hadoop 的守护进程

     $ bin/start-all.sh

我在安装的过程中提示了未知的jvm参数，但是并没有重大的影响，启动仍正常结束了，不知道什么原因。

     这个问题是因为用root用户启动造成的，可以参考参考资料6中的方法，为hadoop这个文件打一个patch就可以解决。然后重新格式化namenode，进行测试。

      bin/hadoop jar hadoop-examples-0.20.203.0.jar grep logs output 'favicon'    

     执行上面的语句，可以对日志进行 WordCount 的分析。

     测试完成后，可以关闭所有的服务

bin/stop-all.sh

参考资料：

1、Single Node Setup

2、Hdfs Shell Handbook

3、Hdfs error：could only be replicated to 0 nodes instead of 1

4、Hadoop：Could not create Java Virtual Machine

5、Namenode not starting

6、Faile to start datanode while start-dfs.sh is executed by root user

Virtualbox现在更新到了4.1.6版本，我记得在之前的版本中，镜像的克隆只能通过命令行的方式来进行，现在已经可以通过界面来进行克隆了，可以说非常的方便。

克隆的时候，我选择了Reinitialize the MAC address of all the network cards。

开机启动之后，发现找不到网卡，无论netwok restart还是reboot都是无效，报错如下。

     Device eth0 does not seem to be present, delayinitialization.

使用参考资料中的 mv /etc/udev/rules.d/70-persistent-net.rules ~ 重启也没有用。

然后定睛看了一下这个文件的内容，发现 NAME 的地方配置的有问题，而且克隆后的机器，网卡配置中的MAC地址没有对应的更新，需要手工修改下。

一切完成后，重新启动服务器，网卡正常工作，OK！

参考资料：

1、Virtualbox克隆

2、VMWare克隆或复制虚拟机后找不到网卡的解决方法

3、udev - Linux Man Page