摘要：
创建table时，直接定义serdeproperties属性，create table wzhg(
c0 string,
c1 string,
c2 string
)row format serde 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
with serdeproperties (
'input.regex' = 'bduid\\[(.*)\\]uid\\[(\\d+)\\]uname\\[(.*)\\]',
'output.format.string' = ' 阅读全文
随笔分类 - 分布式计算
PageRank算法概述
2013-06-09 23:25 by java20130722, 227 阅读, 收藏, 编辑
摘要：
读书报告，转载请标明出处http://blog.csdn.net/wzhg0508/article/details/9068849 阅读全文
Lock-free 多核数据结构设计
2013-06-09 00:28 by java20130722, 258 阅读, 收藏, 编辑
摘要：
lock-free思想背景基本的多核数据结构设计是非常简单的：只需要在并发处理同一数据结构时，加上locks就可以了。这种思想在并发数不是很多的情况下工作的很好。因为这时的资源争用开销并不是很大。随着多核机器逐渐的变大变多，例如成百上千的核，这种加lock机制对此应用的不是很好:如果你只有几个锁,锁的争夺成为巨大的;如果你有许多细粒度的锁,锁的开销开始增加。所以对于大型多核机器来说，“Lock-free”的设计非常常见。以下这些策略基本覆盖了这种设计思想：1、我们不每次都是用lock，但只有当我们真的需要它们的时候（例如只写不读）；2、我们不是每秒都用lock，但是我们可以自己构建相同的东西（ 阅读全文