随笔- 130  文章- 0  评论- 30 
2019年11月14日
摘要:Hive時間函數-年份相加減 目前為止搜了很多资料,都没有找到Hive关于时间 年份,月份的处理信息,所以就自己想办法截取啦 本来是用了概数,一年365天去取几年前的日期,后来测试的发现不够精准,然后给提了mantis bug. emmmmm..... 然后就想办法精准吧,找不到相应函数就自己来凑哈 阅读全文
posted @ 2019-11-14 20:54 阿叮339 阅读 (12) 评论 (0) 编辑
2019年11月12日
摘要:Hive concat函数连接后结果为null concat函数是用来连接字符串的 使用示例: select concat('Hello','World','Java'); 运行结果: 最近我们在做需求的时候使用concat去拼接地址信息,脚本如下:(ta是我存放地址信息的表别名,地址分为三段存储) 阅读全文
posted @ 2019-11-12 12:43 阿叮339 阅读 (19) 评论 (0) 编辑
2019年10月24日
摘要:PL/SQL Developer查詢已經執行過的SQL語句記錄 最近提数比较多,没有已存在的脚本信息,就手工写呀... 一次性打开了多个提数脚本文件,结果执行完后把脚本保存好了,但是最后的整理其它脚本时 把原来的存档的脚本给不小心替换掉了 还ctrl+s保存了,抱着侥幸心理 可能我重新打开会回来吧 阅读全文
posted @ 2019-10-24 12:50 阿叮339 阅读 (15) 评论 (0) 编辑
2019年10月20日
摘要:Hive脚本中切勿使用/**/注释 Hive脚本的注释目前好像只有 -- ,我之前在做初版数据的时候 使用NotePad++ 习惯性的有时候注释会写成 /**/ ,然后就引发了问题 脚本上传到hue,加入调度,调度正常执行 不报错,但是应该有的数据却为空!!! 奇了怪了.... (反复执行了好多遍, 阅读全文
posted @ 2019-10-20 10:11 阿叮339 阅读 (68) 评论 (0) 编辑
2019年10月17日
摘要:Sqoop 抽数报错: java.io.FileNotFoundException: File does not exist 一、错误详情 2019-10-17 20:04:49,080 INFO [IPC Server handler 20 on 45158] org.apache.hadoop. 阅读全文
posted @ 2019-10-17 20:28 阿叮339 阅读 (50) 评论 (0) 编辑
摘要:HUE Oozie : error=2, No such file or directory采坑记录 1.错误详情 一直都是同一种方式在hue上定义workflow,不知为啥 今天定义的就是不行..... 一直报错,不管反复创建文件或者脚本多少遍,也不管重新定义workflow多少遍,报错信息始终如 阅读全文
posted @ 2019-10-17 19:43 阿叮339 阅读 (64) 评论 (0) 编辑
2019年10月14日
摘要:HUE备份已定义好的workflow 最近使用HUE定义了一个很复杂的调度,但是调度执行到一半就开始报错.... 这个可真让人头疼呀, 从头开始跑数据吧 太费时间了,而且会容易造成Hive库总数据冗余 在workflow将已经跑完的部分删掉吧 又舍不得,万一下次整个调度又都出错了 又要重新配置 多累 阅读全文
posted @ 2019-10-14 21:40 阿叮339 阅读 (26) 评论 (0) 编辑
摘要:Hive初步认识,理解Hive(一) 用了有一段时间的Hive了,之前一直以为hive是个数据库,类似Mysql、Oracle等数据库一样,其实不然. Hive是实现Hadoop 的MapReduce的一种方式(Hive是一种MapReduce,优化的时候不能以sql的方式进行优化) Hive表分类 阅读全文
posted @ 2019-10-14 21:13 阿叮339 阅读 (20) 评论 (0) 编辑
2019年10月12日
摘要:Beeline里面执行hive脚本函数nvl2()与replace()报错 写脚本的时候是在impala里面执行的,都正常,但是转换为调度的时候是在beeline里面执行的 就会有问题了. 详情如下: replace函数: (去掉字符串里面所有空格) select replace(' hell o 阅读全文
posted @ 2019-10-12 10:50 阿叮339 阅读 (61) 评论 (0) 编辑
2019年10月10日
摘要:Navicat定时在MySQL与MySQL数据库之间自动传输数据 来由: 需要将表数据从一个库同步到另一个库(数据分发),之前有尝试过使用Kettle去抽数,但是数据量稍微大一点的时候太慢了... 有可能是本机性能的原因,然后就选择用navicat自带的同步工具。(测试环境需要用navicat(因为 阅读全文
posted @ 2019-10-10 13:43 阿叮339 阅读 (222) 评论 (0) 编辑