gxg123

摘要： 场景描述：之前是做kafka不是通过ssl验证的方式进行接入的，所以就是正常的接受数据。发现我们通过aws服务器去访问阿里云服务器上的kafka的时候，我们服务器要把全部的网关 开放给阿里云服务器的kafka这样的话数据就很不安全。所以就从阿里买了kafka服务器这样就能通过公网去访问服务器，然后带 阅读全文

摘要： 最近公司想将windows本地的文件上传到AWS的S3桶当中。然后将S3当中的数据copy到具体的表当中。 #!/usr/bin/python# coding:utf-8import boto3import globfrom datetime import datetimeAWS_KEY = "S3 阅读全文

摘要： mongdb数据中文文档记录 https://docs.jinmu.info/MongoDB-Manual-zh 阅读全文

摘要： 今天有个需求需要将linux和windows 进行打通，然后执行windows上面的python文件。 我们是通过Python执行调用执行windows上面的东西，windows上面也是Python文件。 具体参考：https://blog.csdn.net/Together_CZ/article/ 阅读全文

摘要： 问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 阅读全文

摘要： 最近在做将kafka里面的业务日志写入到hbase 当中，然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除，但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下： 这个地方我们没有办法通过框定一个时间范 阅读全文

摘要： 场景描述，今天再将数据通过excel导入mysql 数据库的时候出现了中文变为问号的情况。 大概就是这个样子了。什么鬼 感觉就是字符集的问题。但是改了好多之后还是发现 问题并没有得到解决。 最后发现在建表的时候数据字符集和排序方式都是latin1 这是什么鬼。然后就手动将表的字符集改过来。改成utf 阅读全文

摘要： 场景描述，前两天给flink 程序做了savepoint 记录但是我在代码中改了flink程序的一个算子 这就导致了 我重新提交之前那个savepoint 的时候报错。报错信息如下 Caused by: java.lang.IllegalStateException: Failed to rollb 阅读全文

摘要： 最近发现有好几个同学问我这个问题,为什么我的Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,我都快被问疯了,今天就给大家详细说一下这个小问题. 首先先来复现一下这个问题,我们先看下面的代码(只是一部分代码) def main(args: Arr 阅读全文

摘要： 最近公司在做实时的东西，我们是采用的是消费kafka的数据 然后将kafka的数据接入到MySQL 数据库然后做一些简单的统计计算，伪实时的展示数据（10分钟进行一次） （情景描述 我们公司用的是aws的服务器。所以flink 集群当中的服务有很多台） 问题（1）通过命令行去查看flink作业的id 阅读全文