上一页 1 ··· 3 4 5 6 7 8 下一页
摘要: mysql数据库里面的字段是 tinyint 类型通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法:jdbc会把tinyint 认为是java.sql.Types.BIT,然后sqoop就会转为Boolean了在连接上加上一句话tinyInt1isBit=falsej 阅读全文
posted @ 2020-08-25 09:52 楔子 阅读(462) 评论(0) 推荐(1)
摘要: 源数据库与目标数据库时区不一致,导致kettle调度数据后时间差8小时 解决办法: 数据库连接处,选项中添加参数serverTimezone=Asia/Shanghai 阅读全文
posted @ 2020-08-25 09:51 楔子 阅读(1502) 评论(0) 推荐(0)
摘要: 前期准备 在linux部署tomcat,JDK,mysql 版本要求: Tomcat8.0以上 JDK 8.0以上 Mysql5.5以上 RDPV3.0 http://product.mftcc.cn/rdp/ 1)安装tomcat 下载地址:https://archive.apache.org/d 阅读全文
posted @ 2020-08-20 17:42 楔子 阅读(1208) 评论(0) 推荐(0)
摘要: smysqldb = mysql.MYSQL(host=source_param['db_ip'], port=int(source_param['db_port']), user=source_param['db_user'], pwd=source_param['db_pwd'], db=sou 阅读全文
posted @ 2020-08-19 10:25 楔子 阅读(733) 评论(0) 推荐(0)
摘要: import datacompy window_acc_df=get_window_acc_df() window_etl_df=get_window_etl_df() ####比较数据差异 compare=datacompy.Compare(window_acc_df,window_etl_df, 阅读全文
posted @ 2020-08-18 18:06 楔子 阅读(6571) 评论(0) 推荐(1)
摘要: COALESCE是一个函数, (expression_1, expression_2, ...,expression_n)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。 应用举例: 阅读全文
posted @ 2020-07-31 18:08 楔子 阅读(331) 评论(0) 推荐(0)
摘要: Impyla是用于分布式查询引擎的HiveServer2实现(如Impala、Hive)的python客户端 1)安装impyla pip install impyla 安装报错 解决办法: 根据提示下载对应的工具 https://visualstudio.microsoft.com/zh-hans 阅读全文
posted @ 2020-07-29 19:37 楔子 阅读(1827) 评论(0) 推荐(0)
摘要: 实现效果,求各年龄段用户数及占比 1)oracle版本 1 with temp as 2 (select t.birth_type, sum(t.user_cnt) as user_cnt 3 from dw_yq.bst_rpt_yq_pag_ratio_m t 4 where t.nc_date 阅读全文
posted @ 2020-07-28 16:23 楔子 阅读(1840) 评论(0) 推荐(0)
摘要: 1)登录CDH,点击HDFS->操作->下载客户端配置 2)将下载后的文件解压,拷贝到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh632文件中 下载后的文件 将core-site.xml与hdfs 阅读全文
posted @ 2020-07-28 10:07 楔子 阅读(1442) 评论(0) 推荐(0)
摘要: 1)查看系统中有哪些数据库 show databases; 2)使用某个数据库 use database_name; 如 use dw_yq; 3)查看当前使用的数据库 select current_database(); 4) 创建数据库 create database dw_yq; -- 直接创 阅读全文
posted @ 2020-07-27 19:07 楔子 阅读(1097) 评论(0) 推荐(0)
上一页 1 ··· 3 4 5 6 7 8 下一页