摘要: from:http://tech.watchstor.com/storage-systems-133561.htm摘要:并行分析模块接受用户提交的多维分析命令,并将通过核心模块将该命令解析为Map-Reduce,提交给Hadoop集群之后,生成报表供报表中心展示。标签:大数据 数据分析 Hadoop随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的 阅读全文
posted @ 2012-02-07 16:12 张保维 阅读(552) 评论(0) 推荐(0)
摘要: 消息队列软件产品大比拼 本文是从 Message Queue Shootout! 这篇文章翻译而来。 我花了一周的时间评估比较了一下各种消息队列产品,非常的有趣。我做这个事的动机是因为一个客户有一个很高性能需求。他们的消息信息突破了1百万个并发。目前他们使用的是SQL server,并不理想,我建议他们使用消息队列服务器。 为了对一些相似的候选产品获得一个全面的但是粗浅的性能上的了解,我们它们放... 阅读全文
posted @ 2012-02-03 18:39 张保维 阅读(284) 评论(0) 推荐(0)
摘要: from : http://blog.csdn.net/tiger119/article/details/1482555 对于数据仓库以及ETL的知识,我基本上是个门外汉。一切都得从头开始,记个笔记,方便自已了解学习进度。首先,我们来了解最基本的定义:嗯,也有人将ETL简单称为数据抽取。至少在未学习之前,领导告诉我的是,你需要做一个数据抽取的工具。其实呢,抽取是ETL中的关键环节,顾名思义,也就将... 阅读全文
posted @ 2012-01-31 11:10 张保维 阅读(523) 评论(0) 推荐(1)
摘要: 最好的(自我感觉)实现多个ASP.NET跨程序池共享Session [转] 简要介绍,本文主要内容是实现通过ASP.NET自己的Sql Server的Session存储机制实现,通过存储过程实现忽略程序标识的区别,达到多程序池间Session数据共享的目的。详细原文: 本文转载人数己经太多,所以不知道原文地址何处,敬请谅解! 我的链接地址是http://space.itpub.net/126391... 阅读全文
posted @ 2012-01-31 10:50 张保维 阅读(208) 评论(0) 推荐(0)
摘要: 用Appfabric cache存储asp.net Session遇到的问题及总结 from:http://www.cnblogs.com/liuzhendong/archive/2011/11/30/2268742.html 折腾了一天, 才初步搭成功测试环境, 步骤如下: 安装, 配置appfabric在此就不赘述了, 直奔主题. 1.新建一个asp.net website, 使用.net... 阅读全文
posted @ 2012-01-31 10:36 张保维 阅读(327) 评论(0) 推荐(0)
摘要: ASP.NET MVC 实现二级域名 [转] [转] 自从微软发布 ASP.NET MVC 和routing engine (System.Web.Routing)以来,就设法让我们明白你完全能控制URL和routing,只要与你的application path相结合进行扩展,任何问题都迎刃而解。如果你需要在所处的域或者子域处理数据标记的话,强制使用Default。 遗憾的是,ASP.NET M... 阅读全文
posted @ 2012-01-29 10:49 张保维 阅读(280) 评论(0) 推荐(0)
摘要: 引自: http://ec.iresearch.cn/57/20111111/155809.shtml?bsh_bid=58646179 百分点推荐引擎是国内领先的推荐技术平台,专注于为电子商务和资讯网站提供SaaS模式的个性化推荐服务,提高网站的整站转化率和用户黏度。本文将从电子商务网站的实际需求出发,介绍百分点推荐引擎架构设计和搭建。 需求 当下,个性化时代的潮流势不可挡,业界普遍意识... 阅读全文
posted @ 2012-01-05 16:00 张保维 阅读(295) 评论(0) 推荐(0)
摘要: 基于Hbase的用户评分协同过滤推荐算法 作者: 张保维 2012-1-3 一、 概述 本文为推荐引擎设计的基础篇,介绍基于hbase 存储方式用户评分的方式进行推荐的主体算法及在分布式平台环境下的实现。由于推荐算法分支众多,我们先从简单及实用的算法进行设计。其它更加复杂算法及实现将会在后面的相关设计中进行说明。 二、 相关知识 (一) Hadoop与MapReduce Hadoop在本文中所起到... 阅读全文
posted @ 2012-01-05 15:31 张保维 阅读(757) 评论(0) 推荐(0)
摘要: 原有方法: public class HbaseClient : IDisposable { public Apache.Hadoop.Hbase.Hbase.Client Client { get; private set; } protected TBufferedTransport Transport { get; private set; } private TSocket socke... 阅读全文
posted @ 2011-12-07 14:31 张保维 阅读(1327) 评论(0) 推荐(2)
摘要: 今天在使用 Hbase 的Thrift接口的时候, C# 生成的代码出现错误为, “给定的关键字不在字典中” 经google 后找到答案, 原地址为: http://stackoverflow.com/questions/1440392/use-byte-as-key-in-dictionary 下面是我的测试代码,原代码中 有一个错误 “ <> “ 要改为“!=” 就好了。 public... 阅读全文
posted @ 2011-12-01 16:36 张保维 阅读(451) 评论(1) 推荐(0)