07 2019 档案

关于aws当中的redshift自定义函数的部署和创建(UDF)
摘要:今天在做的时候碰到,如果一个字符串是日期时间类型,但是他的这种形式是错误的,就比如:2019-02-31 我们都知道2月份是没有31号的,所以我们要给日期附一个默认值。或者因为数据库当中的使用了varchar的类型随心所欲的乱写 各种各样的数据都有。这对于数据清洗是一件非常麻烦的事情。所以我们写一个 阅读全文

posted @ 2019-07-31 15:50 gxg123 阅读(833) 评论(0) 推荐(0)

关于Python当中时间戳和服务器上面的时间戳的处理
摘要:今天好奇怪,在处理数据库当中的时间的时候(时间戳)突然发现服务器上面的时间比Python当中的时间多了8个小时。 服务器上的时间戳为:1550048061266,翻译出来的时间为 但是如果用Python处理这个数据处理出来的结果如下 Python处理出来的数据比正常的服务器的时间多了8个小时(这里考 阅读全文

posted @ 2019-07-31 12:16 gxg123 阅读(780) 评论(0) 推荐(0)

关于Python脚本通过crontab调度的时候报错UnicodeEncodeError: ‘ascii’ codec can’t encode characters in positi的解决方案
摘要:昨天通过Python写了了一段脚本,然后通过crontab将脚本调起来执行,手动执行的时候没有问题的,但是通过crontab进行调度就执行报错。 报错的原因如下: 看到这个报错第一个想到的应该就是编码的问题,有人说在Python脚本的前面加上 # coding:utf-8 但是那,加上之后还是报这个 阅读全文

posted @ 2019-07-26 14:10 gxg123 阅读(1783) 评论(0) 推荐(0)

关于redshift数据库当中的STL_LOAD_ERRORS问题的解决
摘要:今天写了Python脚本准备将s3上面的数据迁移到redshift上面去,突然发现在数据load的时候出现了STL_LOAD_ERRORS,刚接触到redshift也没有报错根本不知道怎么解决。 这里显示报错了,具体的日志要去STL_LOAD_ERRORS当中查看,这个其实是一张表。在这个表当中有报 阅读全文

posted @ 2019-07-16 20:42 gxg123 阅读(988) 评论(0) 推荐(0)

导航