上一页 1 ··· 94 95 96 97 98 99 100 101 102 ··· 119 下一页

2013年1月8日

pig中将两列合并为一列:concat

摘要: aggregate=congregate 在新任务中,需要统计两个属性组成的集合,对应有多少个unique 元组。 在pig中统计是很恶心的事,必须先group (详见http://blog.csdn.net/longshenlmj/article/details/8481932) 我想通过... 阅读全文

posted @ 2013-01-08 16:53 代码王子 阅读(218) 评论(0) 推荐(0)

pig中对元组不能直接使用聚集函数(如COUNT)

摘要: pig中想要使用统计等aggregate函数,必须先group,再进行。而如何设计group也就成了一个相对麻烦的过程,这给程序设计造成了不小的麻烦。 所以pig很强大,但其语法还是有些晦涩,存在很大进步空间。 pig和sql不同,在sql中,可以直接对当前表使用aggregate函数,如cou... 阅读全文

posted @ 2013-01-08 16:43 代码王子 阅读(121) 评论(0) 推荐(0)

2013年1月7日

pig对应sql的基本命令

摘要: 1.从文件导入数据 1)Mysql (Mysql需要先创建表). CREATE TABLE TMP_TABLE(USER VARCHAR(32),AGEINT,IS_MALE BOOLEAN); CREATE TABLE TMP_TABLE_2(AGE INT,OPTIONSVARCHAR(50... 阅读全文

posted @ 2013-01-07 18:13 代码王子 阅读(156) 评论(0) 推荐(0)

pig中cogroup的使用

摘要: %default file test.txt A = load '$file' as (date, web, name, food); B = load '$file' as (date, web, name, food); C= cogroup A by $0, B by $1; des... 阅读全文

posted @ 2013-01-07 18:10 代码王子 阅读(249) 评论(0) 推荐(0)

2012年12月27日

linux 修改 文件名

摘要: 没有专门的重命名 命令 用 mv a b 就可以重命名了 ========================================= mv :move 移动文件(延伸功能:重命名,linux系统没有专门的重命名命令) 基本格式: 移动文件:mv 文件名 移动目的地文件名 重命名文件... 阅读全文

posted @ 2012-12-27 20:24 代码王子 阅读(1275) 评论(0) 推荐(0)

2012年12月19日

python调用其它脚本:pig,python,shell等等 (如何获取pig脚本执行的返回值)

摘要: Python中调用pig语句: 通过三个shell核命令可以 os.system(‘执行的文件,可以是’) os.popen() os.startfile() 具体步骤: 1. 输入python,进入解释器模式。 2. Import os 3. 执行os.sy... 阅读全文

posted @ 2012-12-19 13:58 代码王子 阅读(984) 评论(0) 推荐(0)

linux cd命令介绍

摘要: 1.名称:cd 2.使用对象:所有使用者 3.命令格式:cd [dirName] (cd和目录之间使用空格隔开) 4.作用:切换当前目录至dirName。 5.使用范例: [snms@snms /]$ cd / [snms@snms /]$ ls bin dev h... 阅读全文

posted @ 2012-12-19 13:57 代码王子 阅读(334) 评论(0) 推荐(0)

2012年12月6日

动态重新加载Class机制之代码测试

摘要: V1.1修改了主程序,调用带参数的构造函数package com.ailk;import java.lang.reflect.*;import java.util.ArrayList;import java.util.List;import com.ailk.dynamic.Demo;public... 阅读全文

posted @ 2012-12-06 19:26 代码王子 阅读(309) 评论(0) 推荐(0)

2012年9月24日

Hadoop 单机部署与eclipse开发

摘要: A)版本 hadoop-1.0.3 jdk1.6.0_32eclipse hadoop开发插件 hadoop-eclipse-plugin-1.0.3.jarhadoop-1.0.3 使用单机模式安装, 端口 hdfs 9000 mapred 9001B)环境1) hadoop-1.0.3 的... 阅读全文

posted @ 2012-09-24 13:56 代码王子 阅读(229) 评论(0) 推荐(0)

2012年7月19日

最小二乘法拟合二元多次曲线

摘要: 原文出处不详,数学原理大概不懂,代码有效。作用为已知一堆样本数据,拟合一个近似的2元n次函数表达式。 public class Line { /// ///用最小二乘法拟合二元多次曲线 /// ///已知点的x坐标集合 ... 阅读全文

posted @ 2012-07-19 13:28 代码王子 阅读(661) 评论(0) 推荐(0)

上一页 1 ··· 94 95 96 97 98 99 100 101 102 ··· 119 下一页

导航