2021年9月8日

python打包程序win7下运行丢失api-ms-win-crt-runtime-l1-1-0.dll的解决方法

摘要: 今天写了一个程序,打成exe的可执行文件,但是一直报api-ms-win-crt-runtime-l1-1-0.dll丢失。 然后晚上各种百度 说要安装windows sdk 还有的说要要装一个 vc_redist.x64.exe在windows上。 我都试过了,就是没有用。 最后降低了python 阅读全文

posted @ 2021-09-08 16:32 gxg123 阅读(23) 评论(0) 推荐(0) 编辑

2021年3月8日

关于处理hdfs数据库异常的解决办法 Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

摘要: 今天突然发现,我们的flink程序挂掉了,然后先把程序启动起来,发现正常运行,然后去看什么问题,发现我们的集群当中的一台服务器挂掉了,然后重新启动了一台服务器 然后紧接着,我去看yarn资源管理器看失败的任务发现超时 Application application_1603766479824_000 阅读全文

posted @ 2021-03-08 15:47 gxg123 阅读(237) 评论(0) 推荐(0) 编辑

2021年3月1日

linux服务器安装python虚拟环境

摘要: 今天要部署一个服务化的接口程序,需要创建一个Python的虚拟环境。 1、安装虚拟环境 sudo pip install virtualenv sudo pip install virtualenvwrapper 2 安装完虚拟环境后,如果提示找不到mkvirtualenv命令,须配置环境变量: # 阅读全文

posted @ 2021-03-01 15:54 gxg123 阅读(5109) 评论(0) 推荐(0) 编辑

2021年1月4日

关于安装airflow遇到的问题

摘要: 问题1: Python pylint requires Python '>=3.4.*' but the running Python is 2.7.12解决办法:(1)在linux服务器上执行Python,然后你会看到你的Python 版本为2.7.12.(2)之后输入:cd /usr/bin/ 阅读全文

posted @ 2021-01-04 16:42 gxg123 阅读(93) 评论(0) 推荐(0) 编辑

2020年10月23日

关于在aws的redshift当中批量获取数据库的建表语句的sql

摘要: 这两天在建一个aws redshift 的测试环境,想把正式库里面的表的建表语句可以直接一键进行获取,然后在测试库当中创建测试环境然后搭建测试环境(批量操作) with mon as ( SELECT table_id ,REGEXP_REPLACE (schemaname, '^zzzzzzzz' 阅读全文

posted @ 2020-10-23 15:40 gxg123 阅读(296) 评论(0) 推荐(0) 编辑

2020年9月28日

关于通过flink 接入带ssl验证的kafka数据的相关问题总结。

摘要: 场景描述:之前是做kafka不是通过ssl验证的方式进行接入的,所以就是正常的接受数据。发现我们通过aws服务器去访问阿里云服务器上的kafka的时候,我们服务器要把全部的网关 开放给阿里云服务器的kafka这样的话数据就很不安全。所以就从阿里买了kafka服务器这样就能通过公网去访问服务器,然后带 阅读全文

posted @ 2020-09-28 14:20 gxg123 阅读(1218) 评论(0) 推荐(1) 编辑

2020年8月31日

在windows 本地将文件上传到AWS的S3桶当中

摘要: 最近公司想将windows本地的文件上传到AWS的S3桶当中。然后将S3当中的数据copy到具体的表当中。 #!/usr/bin/python# coding:utf-8import boto3import globfrom datetime import datetimeAWS_KEY = "S3 阅读全文

posted @ 2020-08-31 15:19 gxg123 阅读(519) 评论(0) 推荐(0) 编辑

2020年8月17日

mongdb数据中文文档

摘要: mongdb数据中文文档记录 https://docs.jinmu.info/MongoDB-Manual-zh 阅读全文

posted @ 2020-08-17 15:53 gxg123 阅读(86) 评论(0) 推荐(0) 编辑

2020年5月28日

关于通过linux访问windows执行windows环境下的Python文件的相关操作。

摘要: 今天有个需求需要将linux和windows 进行打通,然后执行windows上面的python文件。 我们是通过Python执行调用执行windows上面的东西,windows上面也是Python文件。 具体参考:https://blog.csdn.net/Together_CZ/article/ 阅读全文

posted @ 2020-05-28 14:40 gxg123 阅读(586) 评论(0) 推荐(0) 编辑

2020年5月22日

关于1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers报错的问题解决 flink

摘要: 问题描述: 昨天晚上都下班了,突然领导发消息实时数据没有了,我去什么鬼,我记得我走的时候数据还是正常启动的,怎么就没数据那, 我们数据是通过flink 从kafka 消费数据,然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现,程序挂掉了,什么情况。好 阅读全文

posted @ 2020-05-22 18:13 gxg123 阅读(466) 评论(0) 推荐(0) 编辑

导航