摘要: import requests import bs4 from bs4 import BeautifulSoup import pandas as pd from collections import Counter #获取网页表格数据 def GetTable(url): r = requests 阅读全文
posted @ 2021-01-06 10:51 皮卡多之神 阅读(201) 评论(0) 推荐(0)
摘要: pip install pyecharts==0.1.9.4 (最终解决方式是安装这个版本!才能兼容map\bar\options,但是这个是老版本的) 1 正常使用pip install pyecharts,是使用如下方式绘图 from pyecharts.charts import Map ma 阅读全文
posted @ 2020-12-14 11:14 皮卡多之神 阅读(1250) 评论(0) 推荐(0)
摘要: import requests import json import traceback """接口查询""" def GetSop(url,opid,queryvalue): """data_query_payload的配置根据接口文档来""" data_query_payload={ "auth 阅读全文
posted @ 2020-12-07 15:04 皮卡多之神 阅读(431) 评论(0) 推荐(0)
摘要: import re def GetPhone(text): """这种精确的匹配导致()内内容也被提取,所以切片处理仅提取手机号""" pat = r"(1(3\d|4[4-9]|5[0-35-9]|6[67]|7[013-8]|8[0-9]|9[0-9])\d{8})" """使用re.resea 阅读全文
posted @ 2020-11-19 16:33 皮卡多之神 阅读(80) 评论(0) 推荐(0)
摘要: 1、数据载入 (1) 建表(hive环境操作) create table tmp_wh_1111 ( name string, age string, school string, ymd string ) row format delimited fields terminated by '\t' 阅读全文
posted @ 2020-11-17 14:30 皮卡多之神 阅读(156) 评论(0) 推荐(0)
摘要: MySQL import pymysql import pandas as pd 设置连接 host = '15.11.111.111' user = 'root' password = 'admin' dbname = 'course' 连接数据库 def ConnMysql(sql): conn 阅读全文
posted @ 2020-10-12 15:57 皮卡多之神 阅读(128) 评论(0) 推荐(0)
摘要: 大小写敏感 df -h 查看当前系统存储情况 ls -h / ls -l -h 显示文件大小 clear 清屏 ls 查看当前目录下所有文件ll 查看当前目录下所有文件详情 cd /../.. 打开路径cd .. 返回上层目录 mkdir filename 新建文件夹rmdir filename 删 阅读全文
posted @ 2020-09-30 15:28 皮卡多之神 阅读(68) 评论(0) 推荐(1)