会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
皮卡多之神
博客园
首页
新随笔
联系
订阅
管理
2021年1月6日
爬取网页表格合并数据
摘要: import requests import bs4 from bs4 import BeautifulSoup import pandas as pd from collections import Counter #获取网页表格数据 def GetTable(url): r = requests
阅读全文
posted @ 2021-01-06 10:51 皮卡多之神
阅读(201)
评论(0)
推荐(0)
2020年12月14日
pyecharts Map 热力图绘制
摘要: pip install pyecharts==0.1.9.4 (最终解决方式是安装这个版本!才能兼容map\bar\options,但是这个是老版本的) 1 正常使用pip install pyecharts,是使用如下方式绘图 from pyecharts.charts import Map ma
阅读全文
posted @ 2020-12-14 11:14 皮卡多之神
阅读(1250)
评论(0)
推荐(0)
2020年12月7日
接口查询方法
摘要: import requests import json import traceback """接口查询""" def GetSop(url,opid,queryvalue): """data_query_payload的配置根据接口文档来""" data_query_payload={ "auth
阅读全文
posted @ 2020-12-07 15:04 皮卡多之神
阅读(431)
评论(0)
推荐(0)
2020年11月19日
常用正则
摘要: import re def GetPhone(text): """这种精确的匹配导致()内内容也被提取,所以切片处理仅提取手机号""" pat = r"(1(3\d|4[4-9]|5[0-35-9]|6[67]|7[013-8]|8[0-9]|9[0-9])\d{8})" """使用re.resea
阅读全文
posted @ 2020-11-19 16:33 皮卡多之神
阅读(80)
评论(0)
推荐(0)
2020年11月17日
hive数据载入和导出
摘要: 1、数据载入 (1) 建表(hive环境操作) create table tmp_wh_1111 ( name string, age string, school string, ymd string ) row format delimited fields terminated by '\t'
阅读全文
posted @ 2020-11-17 14:30 皮卡多之神
阅读(156)
评论(0)
推荐(0)
2020年10月12日
常用数据库连接方式
摘要: MySQL import pymysql import pandas as pd 设置连接 host = '15.11.111.111' user = 'root' password = 'admin' dbname = 'course' 连接数据库 def ConnMysql(sql): conn
阅读全文
posted @ 2020-10-12 15:57 皮卡多之神
阅读(128)
评论(0)
推荐(0)
2020年9月30日
linux 常用命令
摘要: 大小写敏感 df -h 查看当前系统存储情况 ls -h / ls -l -h 显示文件大小 clear 清屏 ls 查看当前目录下所有文件ll 查看当前目录下所有文件详情 cd /../.. 打开路径cd .. 返回上层目录 mkdir filename 新建文件夹rmdir filename 删
阅读全文
posted @ 2020-09-30 15:28 皮卡多之神
阅读(68)
评论(0)
推荐(1)
公告