摘要： 第 1 章 Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程 阅读全文

摘要： 第1章 Impala的基本概念 1.1 什么是Impala Cloudera公司推出，提供对HDFS、HBase数据的高性能、低延迟的交互式SQL查询功能。 基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。 是CDH平台首选的PB级大数据实时查询分析引擎。 1.2 Impa 阅读全文

摘要： 问题： 使用kettle 调度脚本时 报 Access denied for user 'dw_car'@'%' to database 'dw_application' 原因： 因为脚本中的数据库连接出现问题， 是权限问题， 解决 ：在数据库中执行 grant all on dw_applicat 阅读全文

摘要： 1.修改文件所有者 chgrp 用户名 文件名 -R 2.修改文件所在组 chonw 用户名 文件名 -R 3.修改文件执行权限 chomd 权限 文件名 注：-R表示递归目录下所有文件，如果只有单个文件就不需要加-R Data Integration 阅读全文

摘要： 1.启动kettle 连接数据资源库是报错 Invalid byte 2 of 2-byte UTF-8 sequence. 2.问题：是xml 里面的编码问题 3.解决： 找到kettle 对应的 repositories.xml 文件（一般在c盘的用户目录下） 4.打开文件，一般encoding 阅读全文

摘要： 一、Mysql中别名的使用位置 select子句中的别名的使用，在group by及后面可使用。 from子句中的表别名的使用，在where及后面可使用。 二、hive sql中别名的使用位置 在having及后面可以使用。 在order by排序时，必须使用别名，不能使用表达式。 阅读全文

摘要： 1.脚本后台运行语法 sh text.sh（文件名） 20171201 20190101 （输入参数） > text.log（日志文件） 2>&1 & nohup sh text.sh（文件名） 20171201 20190101 （输入参数） > text.log（日志文件） 2>&1 & 2.基 阅读全文

摘要： EQ 就是 EQUAL等于NE就是 NOT EQUAL不等于GT 就是 GREATER THAN大于　LT 就是 LESS THAN小于GE 就是 GREATER THAN OR EQUAL 大于等于LE 就是 LESS THAN OR EQUAL 小于等于 阅读全文

摘要： 1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式 阅读全文

摘要： only supports newline '\n' right now. Error encountered near token '' 意思是：仅支持‘\n’ 分隔符 我写的分隔符方式 row format delimited fields terminated by '\001' collec 阅读全文