楔子 - 博客园

2020年9月17日

摘要：在/usr/local/bin 目录下创建 xsync 文件 #!/bin/sh # 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args...; exit; fi # 获取文件名称 p1=$1 fname=`basena 阅读全文

posted @ 2020-09-17 21:35 楔子阅读(1110) 评论(0) 推荐(0)

CDH停止服务以及启动服务顺序

摘要：一、停止服务： 1）Hue、Impala 2）Spark、Hive 3) Flume、Yarn、Hbase 4) HDFS 5) Zookeeper 二、启动服务 1）Zookeeper 2）HDFS 3) Flume、Yarn、Hbase 4) Spark、Hive 5) Hue、Impala 阅读全文

posted @ 2020-09-17 20:31 楔子阅读(2161) 评论(0) 推荐(0)

CDH上添加HBase服务

摘要： 1）进入Cloudera Manager 界面，点击操作->添加服务 2）选择HBase,点击继续 3）分配角色后，点击继续我这边角色分配如下： 4)设置HDFS 根目录（hbase.rootdir）后，点击继续后面继续，直到完成。进入Hbase->HbaseWebUI可以看到Hbase的R 阅读全文

posted @ 2020-09-17 20:26 楔子阅读(1340) 评论(0) 推荐(0)

2020年9月16日

Hive 常用参数设置

摘要： 1）设置hive显示表头和当前使用数据库 <property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the columns in query 阅读全文

posted @ 2020-09-16 22:35 楔子阅读(320) 评论(0) 推荐(0)

2020年9月13日

设计模式-工厂设计模式

摘要：背景：在Java中，万物皆对象。要想使用这些对象，就需要创建它，如果在使用该对象的类中都采用new方式创建该对象，会严重耦合，假如要更换对象，所以new该对象的地方都要做修改，这违背了软件的开闭设计原则。如果使用工厂来生产对象，就只和工厂打交道了，彻底和对象解耦，如果要更换对象，直接在工厂里更换阅读全文

posted @ 2020-09-13 21:54 楔子阅读(208) 评论(0) 推荐(0)

设计模式

摘要：一、定义 1）设计模式代表了最佳实践 2）设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案这些解决方案是众多软件开发人员经过长期的实验和错误总结出来的，是经验总结 3）使用设计模式是为了重用代码，让代码更容易被他人理解，保证代码的可靠性设计模式的本质是面向对象设计原则的实际运用，是对阅读全文

posted @ 2020-09-13 17:42 楔子阅读(156) 评论(0) 推荐(0)

2020年9月11日

Hive 自定义UDF函数

摘要： Hive的SQL可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表函数（UDTF）进行扩展。当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF）。 UDF、UDAF、UDTF的区别： UDF（User-Defined-Functio 阅读全文

posted @ 2020-09-11 12:41 楔子阅读(957) 评论(0) 推荐(0)

Hive 元数据表结构详解

摘要：转载 https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&scene=21#wechat_redirect Hive元数据库中一些重要的表阅读全文

posted @ 2020-09-11 10:58 楔子阅读(1078) 评论(0) 推荐(0)

2020年9月7日

Hive 基本操作-Table

摘要： 1)更改表名 alter table 原表名 rename to 心表名; 示例：alter table bst_agg_new_car_hailing_order_model_d rename to bst_agg_car_hailing_order_model_d; 2)更改location a 阅读全文

posted @ 2020-09-07 11:41 楔子阅读(444) 评论(0) 推荐(0)

Hive 基本操作-Partition(分区)

摘要： 1）添加分区 alter table bst_bas_hailing_order add if not exists partition(dt_year='${v_dt_year}'); 2）删除分区 alter table bst_bas_hailing_order drop if exists 阅读全文

posted @ 2020-09-07 11:39 楔子阅读(1102) 评论(0) 推荐(0)