摘要: 缩写和包导入 在这个速查手册中,我们使用如下缩写: df:任意的Pandas DataFrame对象 s:任意的Pandas Series对象 同时我们需要做如下的引入: import pandas as pd import numpy as np 导入数据 pd.read_csv(filename 阅读全文
posted @ 2021-03-17 17:09 爱吃萝卜青菜 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 项目准备 简介 基于Python+Flask+Echarts打造一个疫情监控系统,涉及技术有: Python爬虫 使用Python与Mysql数据库交互 使用Flask构建Web项目 基于Echarts数据可视化展示 在linux上部署Web项目及爬虫 项目架构 数据获取(爬虫)>>数据持久化(My 阅读全文
posted @ 2021-03-08 16:26 爱吃萝卜青菜 阅读(2761) 评论(2) 推荐(0) 编辑
摘要: 我们一般会接到一些统计时段的的需求,如下图所示 要求,每30分钟统计一次数据,或者每隔5分钟执行一次 sql的写法,如下所示, select DATE_FORMAT(CONCAT( DATE_FORMAT( ro.update_time, '%Y-%m-%d %H:' ), (FLOOR( MINU 阅读全文
posted @ 2021-02-25 16:47 爱吃萝卜青菜 阅读(2107) 评论(0) 推荐(0) 编辑
摘要: 我们都知道使用select * 的效率会降低,但大多数人都不知道如何去回答。 一、效率低的原因 1. 不需要的列会增加数据传输时间和网络开销 2. 对于无用的大字段,如 varchar、blob、text,会增加 io 操作 3. 失去MySQL优化器“覆盖索引”策略优化的可能性 二、索引知识延申 阅读全文
posted @ 2021-02-03 19:51 爱吃萝卜青菜 阅读(463) 评论(0) 推荐(0) 编辑
摘要: linux 环境下执行kettle报 nested exception is java.awt.AWTError: Can’t connect to X11 window server using ‘localhost:10.0’ as the value of the DISPLAY variab 阅读全文
posted @ 2021-01-29 16:22 爱吃萝卜青菜 阅读(3798) 评论(0) 推荐(0) 编辑
摘要: 1.问题: 当用kettle 导出execl时报错 org.apache.commons.vfs2.FileSystemException: File closed. 2.解决 在execl组件上,扩展名选择xlsx[Excel 2007 and above], Stream XSLX data 打 阅读全文
posted @ 2021-01-29 15:04 爱吃萝卜青菜 阅读(1436) 评论(0) 推荐(0) 编辑
摘要: kettle 在linux 环境下执行时报以下错误: Sun Jul 12 12:06:56 CST 2020 WARN: Establishing SSL connection without server’s identity verification is not recommended. A 阅读全文
posted @ 2021-01-29 14:53 爱吃萝卜青菜 阅读(1435) 评论(0) 推荐(0) 编辑
摘要: 目前有些java项目是利用代码去维护create_time,和update_time 这两个字段。可以是可以但是为了减轻代码量,还是建议使用mysql数据库自己维护这两个字段。 1.解决 在建表时,以下面格式创建字段,当第一次插入数据时,创建时间和更新时间会自动填写成当前时间,当存在数据变更是,更新 阅读全文
posted @ 2021-01-27 16:37 爱吃萝卜青菜 阅读(1586) 评论(0) 推荐(0) 编辑
摘要: 当在linux 环境下运行python脚本画图时,会出现这样的情况。 一般以导入包的问题 解决: 原因是命令行不能画图,而matplotlib默认选择Xwindows 作为后端,设置一下即可,注意要在导入pyplot 前就设置好。 import matplotlib matplotlib.use(' 阅读全文
posted @ 2021-01-21 14:08 爱吃萝卜青菜 阅读(817) 评论(0) 推荐(0) 编辑
摘要: 替换字符串 select replace(uuid(), '-', '') 阅读全文
posted @ 2021-01-14 14:00 爱吃萝卜青菜 阅读(1224) 评论(0) 推荐(0) 编辑