临时要处理一批数据,目标是从销售订单明细获得电子商务常见的一些推荐:1.购买了XX的用户还购买了什么 2.XX经常和YY一起购买 3.XX商品被同一用户多次购买;这是典型的MapReduce场景,但由于数据量比较小22w条数据,实在不想搭Hadoop,就找了一个简单的方案搞定:Qizmt;

  看下项目简介:

 

 

   MySpace Qizmt is a mapreduce framework for executing and developing distributed   computation applications on large clusters of Windows servers. The MySpace Qizmt project develops open-source software for reliable, scalable, super-easy, distributed computation software.

 

  MySpace真是微软技术的忠实拥护者,这么多年不离不弃,MySpace架构演变的过程也影响了很多采用.net架构的网站,这一次他们开源的是基于.net的MapReduce框架.

  是的,C#编写MapReduce逻辑,我Win7的机器就可以跑起来;很快就搞定了,中间出了几个小状况,记录一下:

 

 

  1. 安装的时候有一个需要填写用户名密码的地方,这里一定要填写机器名或者域账号 比如: test-pc\administrator

 

  2. 安装完成之后qizmt已经注册到环境变量,可以在命令行环境中调用

 

  3. 第一次使用需要执行format  http://code.google.com/p/qizmt/wiki/MySpaceQizmtSingleMachineQuickStart

 

  4. Qizmt会自己维护一套文件系统 DFS 你可以在安装目录查看DFS.XML查看文件系统的元数据

 

  5. 把文件拷贝到DFS系统中,可以使用:qizmt put \\admin-PC\d$\data\some_file.xml dfs://some_file.xml 注意这里使用的也是网络路径

 

  6.把文件从DFS拷贝出来,使用: qizmt get dfs://reslut_output.txt  \\admin-PC\d$\data\all_step_2.csv

 

  7.qizmt edit xx.xml 可以修改MapReduce的代码,甚至是调试

 

  8.MapReduce代码支持.net Framework框架的其它类库,直接全namespace引用就可以,不过qizmt的编辑器没有提供对这些类库的智能提示

 

  9.MapReduce代码支持使用本地路径,比如"D:\data.csv"

 
 
  官方站点上提供了足够详细的Demo,文档,基本上所见即所得,不再赘述,地址 http://code.google.com/p/qizmt/
 

MySpace Qizmt IDE/Debugger

 

MapReduce的处理思路并没有太复杂,可以看下面的演示代码:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace Kockerbeck.MapReduce
{
    /// <summary>
    /// Very Simple MapReduce implementation in C#
    /// </summary>
    /// <remarks>
    /// Thanks to Stephan Brenner. Refactored for C# 4.0
    /// </remarks>
    public class MapReduce
    {
        public static int NumberOfCores = 4;

        public static Dictionary<T3, List<T4>> Execute<T1, T2, T3, T4>(Func<T1, T2, List<KeyValuePair<T3, T4>>> mapFunction,
            Func<T3, List<T4>, List<T4>> reduceFunction, Dictionary<T1, T2> input)
        {
            var result = new Dictionary<T3, List<T4>>();
            var maps = new Dictionary<T3, List<T4>>();

            input.DivvyUp(NumberOfCores, l => l.ForEach(kv =>
                maps.Add(mapFunction(kv.Key, kv.Value), i => i.Key, i => i.Value)));

            maps.DivvyUp(NumberOfCores, m => m.ForEach(map =>
                result.Add(reduceFunction(map.Key, map.Value), i => map.Key, i => i)));

            return result;
        }
    }
}

 

 

补上一张思路图(新标签打开,查看大图):

 

购买了XX的用户还购买了

 

微博:你关注的人也关注了

 

Map Reduce 做大数据量排序

 

最后,小图一张