胖子坠

摘要：最近在做弄sparksql,在读取mysql数据的时候发现一个问题, 在数据库将字段定义成tinyint,并且长度为1的时候,读取到... 阅读全文

posted @ 2019-09-08 14:40 胖子坠阅读(103) 评论(0) 推荐(0)

摘要：最近在进行spark数据写入es的时候,发生了报错,[FORBIDDEN/12/index read-only / allow de... 阅读全文

posted @ 2019-08-25 17:18 胖子坠阅读(13) 评论(0) 推荐(0)

摘要： sqoop导入数据到hive查询全部为null. 最近在用sqoop导入数据到hive的时候,遇到一个问题.用sqoop将数据导入到... 阅读全文

posted @ 2019-08-18 15:31 胖子坠阅读(114) 评论(0) 推荐(0)

摘要：最近在增量同步mysql的数据到hive中,用sqoop进行增量导入,将增量任务设置为sqoop的job,每天定时跑sqoop的jo... 阅读全文

posted @ 2019-08-03 18:06 胖子坠阅读(51) 评论(0) 推荐(0)

摘要：概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导... 阅读全文

posted @ 2019-07-20 22:33 胖子坠阅读(21) 评论(0) 推荐(0)

摘要：前段时间用sparksession读取MySQL的一个表的时候,出现耗时长,频繁出现oom等情况,去网上查找了一下,是因为用的默认读... 阅读全文

posted @ 2019-07-07 16:47 胖子坠阅读(393) 评论(0) 推荐(0)

摘要： Azkaban安装成功以后就可以进行任务调度了，这里简单演示几个调度任务。单一job示例创建文本文件，更改名称为mycomman... 阅读全文

posted @ 2019-06-14 22:20 胖子坠阅读(30) 评论(0) 推荐(0)

摘要： Azkaban简介官网: https://azkaban.github.io/ Azkaban是由Linkedin开源的一个批量工... 阅读全文

posted @ 2019-06-08 23:47 胖子坠阅读(71) 评论(0) 推荐(0)

摘要：最近在进行用sqoop将业务表数据导入到hive,在导入的时候发现一直在报一个WARN,WARN TableDefWriter:Co... 阅读全文

posted @ 2019-05-24 22:37 胖子坠阅读(111) 评论(0) 推荐(0)

摘要： HBase搭建完成后,可以进行基本的API操作,对HBase进行测试. 导入依赖: org.... 阅读全文

posted @ 2019-05-01 15:32 胖子坠阅读(16) 评论(0) 推荐(0)