楔子

摘要： mysql数据库里面的字段是 tinyint 类型通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法：jdbc会把tinyint 认为是java.sql.Types.BIT，然后sqoop就会转为Boolean了在连接上加上一句话tinyInt1isBit=falsej 阅读全文

摘要： 源数据库与目标数据库时区不一致，导致kettle调度数据后时间差8小时 解决办法： 数据库连接处，选项中添加参数serverTimezone=Asia/Shanghai 阅读全文

摘要： 前期准备 在linux部署tomcat，JDK，mysql 版本要求： Tomcat8.0以上 JDK 8.0以上 Mysql5.5以上 RDPV3.0 http://product.mftcc.cn/rdp/ 1）安装tomcat 下载地址：https://archive.apache.org/d 阅读全文

摘要： smysqldb = mysql.MYSQL(host=source_param['db_ip'], port=int(source_param['db_port']), user=source_param['db_user'], pwd=source_param['db_pwd'], db=sou 阅读全文

摘要： import datacompy window_acc_df=get_window_acc_df() window_etl_df=get_window_etl_df() ####比较数据差异 compare=datacompy.Compare(window_acc_df,window_etl_df, 阅读全文

摘要： COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。 应用举例： 阅读全文

摘要： Impyla是用于分布式查询引擎的HiveServer2实现(如Impala、Hive)的python客户端 1)安装impyla pip install impyla 安装报错 解决办法： 根据提示下载对应的工具 https://visualstudio.microsoft.com/zh-hans 阅读全文

摘要： 实现效果，求各年龄段用户数及占比 1)oracle版本 1 with temp as 2 (select t.birth_type, sum(t.user_cnt) as user_cnt 3 from dw_yq.bst_rpt_yq_pag_ratio_m t 4 where t.nc_date 阅读全文

摘要： 1)登录CDH，点击HDFS->操作->下载客户端配置 2)将下载后的文件解压，拷贝到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh632文件中 下载后的文件 将core-site.xml与hdfs 阅读全文

摘要： 1）查看系统中有哪些数据库 show databases; 2）使用某个数据库 use database_name; 如 use dw_yq; 3）查看当前使用的数据库 select current_database(); 4) 创建数据库 create database dw_yq; -- 直接创 阅读全文