lishouguang - 博客园

2015年6月7日

摘要： users.data的内容如下：lisg 28 75dengsl 24 88 强制类型转换users = load '/users.data'fehed = foreach users generate (int)$1 as age; 隐式类型转换users = load... 阅读全文

posted @ 2015-06-07 22:20 lishouguang 阅读(1066) 评论(0) 推荐(0)

Pig模式

摘要： Pig中的模式可以是用户显示声明的，也可以是Pig通过用户的使用方式猜测的。Pig对模式的认知在Pig Latin脚本执行的不同阶段可能是不同的。下面的语句，用户显示声明了模式：3个字段，分别是name、age、address，它们的类型也确定了。 data = load 'data' as (na... 阅读全文

posted @ 2015-06-07 22:17 lishouguang 阅读(218) 评论(0) 推荐(0)

Pig数据类型

摘要：基本类型int、long、float、double、chararray、bytearray、datatime、boolean、biginteger、bigdecimal复杂类型map、tuple、bagNULLmap['key1'#value1, 'key2'#value2]key-value键值对... 阅读全文

posted @ 2015-06-07 22:13 lishouguang 阅读(623) 评论(0) 推荐(0)

Pig autocomplete 自动补全

摘要：在pig的grunt环境下，按TAB键可以自动补全命令，用户可以添加自己的补全信息。在conf目录下创建autocomplete文件，添加如下内容：hdfs://vm1:8020/在grunt环境下输入hd，然后按TAB，就可以自动补全hdfs://vm1:8020了。/conf/autocompl... 阅读全文

posted @ 2015-06-07 22:11 lishouguang 阅读(194) 评论(0) 推荐(0)

Pig脚本 .pig

摘要： pig脚本就是一个文件，保存了多条pig命令，通常后缀是.pig（不强制）。多行注释：/**/ 单行注释：-- 下面是一个名字是test.pig的脚本的例子：/* test.pig 测试脚本*/data = load '/xx.data' using PigStorage(','); --... 阅读全文

posted @ 2015-06-07 22:10 lishouguang 阅读(773) 评论(0) 推荐(0)

Pig的使用场景

摘要：数据转换加载（ETL）数据流：读取原始数据（比如用户日志），进行数据清洗，进行简单的预计算后导入到数据仓库，比如join连接数据库里的用户信息。阅读全文

posted @ 2015-06-07 22:08 lishouguang 阅读(526) 评论(0) 推荐(0)

Pig安装

摘要：环境：hadoop-2.4.1、jdk1.6.0_45、pig-0.12.11、下载pig并解压tar -xzvf pig-0.12.1.tar.gz 2、设置环境变量export PIG_HOME=~/pig-0.12.1export PATH=$PATH:$PIG_HOME/bin 3、测试... 阅读全文

posted @ 2015-06-07 22:03 lishouguang 阅读(194) 评论(0) 推荐(0)

【转】Twitter Storm如何保证消息不丢失

posted @ 2015-06-07 22:01 lishouguang 阅读(237) 评论(0) 推荐(0)

【转】Twitter Storm: 在生产集群上运行topology

posted @ 2015-06-07 21:59 lishouguang 阅读(397) 评论(0) 推荐(0)

Storm一个executor里运行多个task是为了rebalance

摘要：默认情况下下，一个executor运行一个component，即一个task，但有时会指定多个task：1builder.setBolt("",newXxBolt()).setNumTasks(2);这是为了rebalance命令。阅读全文

posted @ 2015-06-07 21:58 lishouguang 阅读(350) 评论(0) 推荐(0)

公告