自定义UDF

1、编写udf类
  1. package hive.udf;
  3. import org.apache.hadoop.hive.ql.exec.Description;
  4. import org.apache.hadoop.hive.ql.exec.UDF;
  6. /**
  7.  * UDF的说明文档
  8.  * name是UDF的名称
  9.  * value是desc function xx输出的内容 
  10.  * extended是desc function extended xx输出的内容 
  11.  *
  12.  */
  13. @Description(name="uppernum", 
  14. 	value="_FUNC_ the input is a num, the output is the UpperNum", 
  15. 	extended="Example:\n" + 
  16. 		"> select uppernum(1) from src \n")
  17. public class UpperNumUDF extends UDF {
  19. 	/**
  20. 	 * UDF类需要自定义evaluate方法，可以重载多个
  21. 	 * 
  22. 	 * evaluate的参数、返回值必须是hive可以序列化的类型
  23. 	 * 
  24. 	 * 参数：
  25. 	 * 	1）可以是java基本类型、String
  26. 	 * 	2）可以是Text
  27. 	 * 	3）可以包含多个参数，参数类型也可以不同
  28. 	 * 	4）可以是List<?>。如果hive表字段是Array<?>类型的，则是List
  29. 	 * 
  30. 	 * 返回值：
  31. 	 * 	1）必须有返回值，可以为null
  32. 	 * 	2）返回值只能是java基本类型、String、Writable
  33. 	 * 
  34. 	 * 可以自定义 UDFMethodResolver来手动匹配方法的执行
  35. 	 * 
  36. 	 * @param num
  37. 	 * @return
  38. 	 */
  39. 	public String evaluate(int num) {
  40. 		String str = "ERROR";
  41. 		
  42. 		switch (num) {
  43. 		case 0:
  44. 			str = "零";
  45. 			break;
  46. 		case 1:
  47. 			str = "壹";
  48. 			break;
  49. 		case 2:
  50. 			str = "贰";
  51. 			break;
  52. 		case 3:
  53. 			str = "叁";
  54. 			break;
  55. 		case 4:
  56. 			str = "肆";
  57. 			break;
  58. 		case 5:
  59. 			str = "伍";
  60. 			break;
  61. 		default:
  62. 			break;
  63. 		}
  64. 		
  65. 		return str;
  66. 	}
  67. 	
  68. 	public String evaluate(String num) {
  69. 		int intnum = 100;
  70. 		try {
  71. 			intnum = Integer.parseInt(num);
  72. 		} catch (NumberFormatException e) {
  73. 		}
  74. 		return evaluate(intnum);
  75. 	}
  77. }

2、打包类，将jar上传到hive所在机器上

3、启动hive，在hive会话里执行：
1）加载jar包
  1. hive (test)> add jar ${env:HOME}/udf.jar;
ps：jar包路径没有引号

2）创建uppernum 
  1. hive (test)> create [temporary] function uppernum as 'hive.udf.UpperNumUDF';
ps：创建的function，在hive会话结束后将消失，可以在.hiverc里设置，来确保每次hive启动时都执行create。

3）使用uppernum 
  1. hive (test)> select uppernum(2) from dual;
  2. OK
  3. 贰
  4. Time taken: 0.118 seconds, Fetched: 1 row(s)
  5. hive (test)> select uppernum(5) from dual;
  6. OK
  7. 伍

4）查看uppernum的说明文档
  1. hive (test)> desc function uppernum;
  2. OK
  3. uppernum the input is a num, the output is the UpperNum
  4. Time taken: 0.138 seconds, Fetched: 1 row(s)
  6. hive (test)> desc function extended uppernum;
  7. OK
  8. uppernum the input is a num, the output is the UpperNum
  9. Example:
  10. > select uppernum(1) from src 
  12. Time taken: 0.138 seconds, Fetched: 4 row(s)

5）删除UDF
  1. hive> drop [temporary] function uppernum;
  2. OK
  3. Time taken: 0.221 seconds







附件列表

     

    posted @ 2015-06-08 14:18  lishouguang  阅读(648)  评论(0)    收藏  举报