网站更新内容:请访问: https://bigdata.ministep.cn/
摘要: # @Filename: search_document.py import os,re import shutil import pandas as pd import time class atom_file(object): def re_doucement(self,path,pattern 阅读全文
posted @ 2021-04-04 20:40 ministep88 阅读(202) 评论(0) 推荐(0) 编辑
摘要: Plot画图 数据准备 import pymysql from sqlalchemy import create_engine import pandas as pd import mysql.connector as sql import time def read_mysql(sql): try 阅读全文
posted @ 2021-04-04 20:33 ministep88 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 基础配置 In [70]: import matplotlib import matplotlib as mpl import matplotlib.pyplot as plt import plotly.plotly import plotly.tools as tls import numpy 阅读全文
posted @ 2021-04-04 20:30 ministep88 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 数据管理 演示数据集 # Create a dataframe import pandas as pd import numpy as np raw_data = {'first_name': ['Jason', 'Molly', np.nan, np.nan, np.nan], 'national 阅读全文
posted @ 2021-04-04 20:26 ministep88 阅读(153) 评论(1) 推荐(0) 编辑
摘要: SQL-info信息 sql 保留两位小数+四舍五入 1. ROUND(该函数,只是负责四舍五入到两位小数,但是不负责截断 只留两位小数,例如下例:) 关于ROUND函数,我们平常理解为4舍5入,如: print ROUND(13.145, 2); 结果为:13.150 2. 使用转换类型,才能达到 阅读全文
posted @ 2021-04-04 20:24 ministep88 阅读(372) 评论(1) 推荐(0) 编辑
摘要: import os,re import pandas as pd dir_path = r'C:\Users\lenovo\Desktop\每日经营看板\经营周报\data' #col = [] ##选取需要的字段,看了下不是所有的字段都需要的 #df = pd.DataFrame([],colum 阅读全文
posted @ 2021-04-04 20:19 ministep88 阅读(76) 评论(0) 推荐(0) 编辑
摘要: csv数据读取 import pandas as pd from datetime import datetime import time def read_csv(from_path): table = pd.read_csv(from_path) ##选取表 return table def w 阅读全文
posted @ 2021-04-04 20:13 ministep88 阅读(101) 评论(0) 推荐(0) 编辑
摘要: pyplot画图示例 matplotlib 混用 import matplotlib import matplotlib as mpl import matplotlib.pyplot as plt import plotly.plotly import plotly.tools as tls pl 阅读全文
posted @ 2021-04-04 20:06 ministep88 阅读(125) 评论(1) 推荐(0) 编辑
摘要: python连接hive presto # -*- coding: utf-8 -*- from __future__ import print_function import thrift import requests import sys import json import sqlite3 阅读全文
posted @ 2021-04-04 19:58 ministep88 阅读(821) 评论(0) 推荐(0) 编辑
摘要: 将从浏览器上Copy来的cookie字符串转化为Scrapy能使用的Dict # -*- coding: utf-8 -*- class transCookie: def __init__(self, request_headers): self.request_headers = request_ 阅读全文
posted @ 2021-04-04 19:47 ministep88 阅读(43) 评论(0) 推荐(0) 编辑
摘要: #单位度量衡转换 #单位度量衡转换 def GB_MB_TB(msg): if msg == "": return None if msg is None or len(msg) == 0: pass m = re.match("^\d+\.\d+[GB|MB|TB]", msg) if m: if 阅读全文
posted @ 2021-04-04 19:46 ministep88 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 日期格式化处理 import re import datetime from dateutil.relativedelta import relativedelta UTIL_CN_NUM = { u'零': 0, u'一': 1, u'二': 2, u'两': 2, u'三': 3, u'四': 阅读全文
posted @ 2021-04-04 19:45 ministep88 阅读(120) 评论(0) 推荐(0) 编辑
摘要: #html #内容解析 from lxml import etree import pandas as pd import re def get_data(html): html = etree.HTML(html) #result = etree.tostring(html) #print(res 阅读全文
posted @ 2021-04-04 19:40 ministep88 阅读(240) 评论(0) 推荐(0) 编辑
摘要: pandas中DataFrame关于显示值省略的解决方法 pd.set_option('max_colwidth',200) 参考:pandas中DataFrame关于显示值省略的解决方法 - CSDN博客 python中怎么用matplotlib在一行里生成多个图? plt.subplot() 参 阅读全文
posted @ 2021-04-04 19:31 ministep88 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 核心思路: 使用 rich-text 将示例文档更改下就行了; 参考 rich-text | 微信开放文档 微信小程序rich-text富文本图片不展示、宽度超出 - 简书 引入HTML本地文件,以js格式保存 #htmlSnip.js var html = ` <div class="div_cl 阅读全文
posted @ 2021-04-04 16:30 ministep88 阅读(263) 评论(0) 推荐(0) 编辑
网站更新内容:请访问:https://bigdata.ministep.cn/