打杂滴 - 博客园

HQL/SQL

摘要：阅读全文

posted @ 2018-06-12 15:19 打杂滴阅读(95) 评论(0) 推荐(0)

留存计算

摘要：下例根据20180605号的登录计算历史N天留存，本例未加注册时间限制 select a.DateID,a.platid,DATEDIFF(cast(c.DateID as datetime),cast(a.DateID as datetime)),count(distinct a.Accid) f 阅读全文

posted @ 2018-06-11 14:32 打杂滴阅读(147) 评论(0) 推荐(0)

shell编程

摘要： Linux 中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。脚本通常以下语句开始： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序 cd / 是回到根目录 cd 当前阅读全文

posted @ 2018-06-08 10:13 打杂滴阅读(133) 评论(0) 推荐(0)

hbase 简介

摘要： hbase是hadoop的数据库，能够对大数据提供随机实时的读写访问功能，具有开源，分布式，可扩展行，面向列存储的特点。hbase的目标是存储并处理大量的数据。它可以直接使用本地文件系统，也可以使用hdfs文件存储系统。使用 hdfs更加稳妥。 hbase存储的是松散数据。存储的数据可以理解为ke 阅读全文

posted @ 2018-06-07 17:41 打杂滴阅读(140) 评论(0) 推荐(0)

Hive QL

摘要：将查询结果写入到本地指定目录(也可以写入hdfs) insert overwrite local directory '/root/tmpdata/queryout_20180607' select * from gamedw.t_name where id=1 一个源可以同时插入到多个目标表或目标阅读全文

posted @ 2018-06-07 15:14 打杂滴阅读(224) 评论(0) 推荐(0)

hive简介

摘要： hive是hadoop的一个重要子项目，利于mapreduce编程技术，实现部分sql语句,提供类SQL的编程接口。 hive是一个基于hadoop文件系统的数据仓库架构，它为数据仓库管理提供了许多功能：数据ETL，数据存储管理，大数据集的查询和分析能力。由于hadoop是批处理系统，任务是高延迟阅读全文

posted @ 2018-06-07 14:06 打杂滴阅读(402) 评论(0) 推荐(0)

Sqoop增量导入

摘要： Specifies the column to be examined when determining which rows to import. (the column should not be of type CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/ 阅读全文

posted @ 2018-06-06 16:32 打杂滴阅读(553) 评论(0) 推荐(0)

sqoop1 使用测试

摘要： hive导入数据到mysql最简单的方式就是从hdfs直接读取hive表文件导入mysql，当然这需要知道数据表保存的目录如果能直接从表到表的导入，无需路径，当然是最好了 1.需要下载合适的hive-hcatalog-core-*.jar，分别复制到hive以及sqoop对应的lib目录下，并且配阅读全文

posted @ 2018-06-06 10:06 打杂滴阅读(602) 评论(0) 推荐(0)

了解数据仓库

摘要：一.数据仓库定义数据仓库就是面向主题的、集成的、相对稳定的、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程、数据仓库中的数据面向主题，与传统关系数据库面向应用相对应。二.数据仓库与传统数据的区别数据仓库是用于分析的数据库，传统的关系型数据库是面向业务的，为具体的业务提供阅读全文

posted @ 2018-05-31 15:48 打杂滴阅读(231) 评论(0) 推荐(0)

linux添加计划任务

摘要： crond 是linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。可以用以下的方法启动、关闭这个服务: [root@host ~]# /sbin/service crond st 阅读全文

posted @ 2018-05-29 15:44 打杂滴阅读(186) 评论(0) 推荐(0)

努力，奋斗

公告

2018年6月12日

HQL/SQL

2018年6月11日

留存计算

2018年6月8日

shell编程

2018年6月7日