03 2021 档案

pandas输出的数据集导入数据库
摘要：通过pd.io.sql.to_sql方法将pandas处理后的数据集结果，写入到数据库中： ##连接数据库，将数据集通过pd.io.sql.to_sql方法写入到数据库中##通过create_engine方法连接数据库 from sqlalchemy import create_engine con 阅读全文
posted @ 2021-03-29 16:19 天宇星空 阅读(783) 评论(0) 推荐(0)
python监控接口告警模板
摘要：问题：接口出现问题或者超时响应，没法第一时间响应 解决思路：通过返回数据或者返回状态判断接口是否可用 + 钉钉机器人告警 缺陷： 重复性代码太多了，但是每个接口url跟告警模板又不一样，觉得代码不简洁 求助：有大佬有好的建议，可以留言，谢谢 脚本如下： #_*_ coding:utf-8 _*_im 阅读全文
posted @ 2021-03-24 16:49 天宇星空 阅读(324) 评论(0) 推荐(0)
mysql分库分表
摘要：在跨库分片的情况下，未分片的数据如何保存： 1、在每个分片库上都保留一份相同数据，配置多写的数据源，由于数据更新不会放置在同一个事物中，所以要定期检查确保数据的一致性 2、使用额外节点统一存储，但是由于业务需要讲分片数据跟公共数据联合查询，只能分别查询得到结果，最后组合在一起返回结果，查询效率相对说 阅读全文
posted @ 2021-03-17 19:09 天宇星空 阅读(136) 评论(0) 推荐(0)
python将html文件转换为pdf
摘要：目录下的html文件转换为pdf #coding=utf-8import osimport pdfkitimport filetypeimport _threadimport timeimport shutildir='C:\\Users\\Administrator\\Desktop\\SQL必知 阅读全文
posted @ 2021-03-12 15:47 天宇星空 阅读(779) 评论(0) 推荐(0)
mysql获取字段名和对应的注释
摘要：应用场景：客户需要拉取门店信息，由于字段跟注释数量较多，ctrl+c ctrl+v太蠢，找一个稍微方便一点的方法 解决方法：通过sql把表字段跟注释列出来，贴到excel表格中，表头竖列转换为横列 sql查询字段跟注释 SELECTcolumn_name, column_commentFROM in 阅读全文
posted @ 2021-03-09 09:23 天宇星空 阅读(929) 评论(0) 推荐(0)
mysql大表查询慢对应方案
摘要：背景：由于业务量的递增以及客户并发请求的递增，某些数据的返回需经大表（3000W以上）查询返回，返回数据时间由能接受到了完全不能接受的地步，需要对数据库进行相应优化 目前架构：A-B-C 相当于单主下边挂着单从库 方案一： 基于成本足够的情况下，数据库切分，可以考虑PXC（三节点最优）+mycat架 阅读全文
posted @ 2021-03-05 13:55 天宇星空 阅读(665) 评论(0) 推荐(0)
harbor安装
摘要：harbor：私人镜像仓库，搭建在本地可以对镜像起到一个远程存储和复用的用途 安装方式：docker-compose通过yaml 1、搜索harbor的github地址，通过点点点的方式找到harbor的安装压缩包 2、wget到本地，eg： wget https://github.com/goha 阅读全文
posted @ 2021-03-04 11:29 天宇星空 阅读(225) 评论(0) 推荐(0)
国内镜像源安装docker-compose
摘要：国内有加速镜像地址：https://get.daocloud.io/ 可以进去下载需要安装的docker相关服务 官网安装步骤如下： curl -L https://get.daocloud.io/docker/compose/releases/download/1.28.5/docker-comp 阅读全文
posted @ 2021-03-04 10:39 天宇星空 阅读(2847) 评论(0) 推荐(0)