gxg123

摘要： 今天要做一个数据需求需要讲MySQL数据回传到另外一台mysql 服务器上面去，我想着数据也不多就用MySQLdump的形式生成文件 然后将数据传入到另外一台服务器上面去。 但是在传的时候就就出现了权限不是超级 用户的问题 ，但是我在数据库里面通过delete 的方式去删除数据的时候 是可以删除的 阅读全文

摘要： 业务介绍： 最近在做将线上的日志数据 通过flink的形式消费过来 ，然后灌入hbase 表当中。然后最近要解析这个日志想通过Python的方式读取hbase的日志进行解析 然后入库的方式做。 我们想一个小时做一次 但是那个rowkey 设计的真是卧槽。一点业务理念都没有 就是简单的字符串拼接起来的 阅读全文

摘要： 今天在做一个需求，在将数据库的数据做减法然后比对的时候发现，12.13-12=0.13 然后和最终的值0.13进行对比的时候居然不相等。这不是坑人吗 然后我们查看了表当中的这些数值存储的数据类型。发现所有的数据存储都是按照varchar的形式进行存储，导致mysql数据库在计算数据的减法的时候出现了 阅读全文

摘要： 这几天在将数据从redshift读取数据然后写入mysql数据库自动创建表的，然后把数据插入到数库的操作。 我们通过读取sql的形式，将数据读取进来是一个dataframe。 data = pd.read_sql(sql, rs_engine)然后再将这个dataframe写出去到mysql数据库通 阅读全文

摘要： 今天在将写成的Python文件打包。然后给别人执行。打包了好多次都执行不了。真坑。 报的错是各种module找不到 Module Not Found Error: No module named 'openpyxl' 类似这种的问题。实在没有招： 按照安装文档 安装顺序为： 进去f盘，f: 进去相应 阅读全文

摘要： 最近在做将sqlserver的数据迁移到redshift上面，然后再做的过程当中出现了很多问题。（通过sqlserver 读取数据，然后写成json文件然后长传到S3上面，然后通过S3copy的形式将数据写入到redshift上面） 第一次通过csv的形式然后通过s3copy的形式将数据长传，里面出 阅读全文

摘要： 今天别人给我一堆表，然后我想批量的查询出这些表的行数，我觉得这个很容易啊，mysql有一个专门存各个表对应的详细的内容： 查询语句如下： 但是那，这样查询出来的数据让我吃惊的是，数据非常的不准确，连基本的参考价值都没有 最后在网上查询了一点资料说，是因为引擎不同导致的， ENGINE=InnoDB（ 阅读全文

摘要： 今天在做将csv文件当中的数据插入到数据库当中，但是在读取csv文件的内容的时候报错了，一眼看过去好像是因为编码的原因，就在Python文件的上面加上编码的相关配置，但是还是报错 首先想到的肯定是中文的原因，然后再读取的时候就在读取文件的时候加上编码如下： 但是问题依然没有解决。看来还是数据源的编码 阅读全文

摘要： 今天在做redshift 对某一个字段进行分组，然后合并成一行数据（之前是mysql做的，现在在这里记录一下） 阅读全文

摘要： 最近在做kettle相关的数据迁移。然后要循环的去读取数据把数据进行迁移操作。这里是通过js代码控制循环读取数据。 表数量校验的截图如下： 两个转换当中数据输入如下： 获取表名称的转换 上面是根据表当中的id获取到具体的表名称是什么，下面是是获取将要导入的表全部数据。 至此问题得到解决。 阅读全文