摘要: selenium是一个自动化测试的工具,我不是搞那方面的,所以也在那方面的具体应用不太了解。但是,这并不影响我在爬虫和其它方面的使用。 安装: 使用pip安装就可以了。 注:使用selenium之前需要下载chromedriver.exe放入chorme安装的文件夹,并配置环境变量哦!具体自行百度解 阅读全文
posted @ 2019-05-06 23:37 Tony学长 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 如有不得当之处,请联系我会及时删除 这次的抓取我用的是requests和Xpath,因为没有必要使用大型工具 import requests from lxml import etree 思路: 1.目的是下载爬虫教程 2.分析网页以及规则,使用Xpath简单获取下载url 3.循环下载 代码如下: 阅读全文
posted @ 2019-05-04 13:26 Tony学长 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 引入BeautifulSoup: from bs4 import BeautifulSoup #意思就是从bs4这个包里面引入BeautifulSoup这个类 之后,使用以下语法来把请求之后的响应传入解析器: soup = BeautifulSoup(response.text, features= 阅读全文
posted @ 2019-05-04 13:14 Tony学长 阅读(1388) 评论(0) 推荐(0) 编辑
摘要: 常见的正则匹配模式 最常规的匹配 #re.match() 尝试从字符串的起始位置匹配一个模式, 如果不是起始位置匹配成功的话,match()就返回none. re.match(patter,string,flags=0) content = 'Hello 123 4567 World_this is 阅读全文
posted @ 2019-04-27 21:56 Tony学长 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 总觉得Pyinstaller这个包挺好用,这不,今天又用上了 之前写过一些脚本来优化办公和一些杂事,比如一些刷课之类得小程序,今天是要打包一个GUI程序。 程序中用到了pandas、jieba、numpy、tkinter(不要问我为什么用tkinter,因为PtQt5得坑我还没有踩完!) 最大得坑: 阅读全文
posted @ 2019-04-24 17:34 Tony学长 阅读(99) 评论(0) 推荐(0) 编辑
摘要: any()函数与all()函数都是python内置函数。 any() 函数用于判断给定的可迭代参数 iterable 是否全部为 False,则返回 False,如果有一个为 True,则返回 True。 元素除了是 0、空、FALSE 外都算 TRUE。 元素除了是 0、空、FALSE 外都算 T 阅读全文
posted @ 2019-04-16 23:51 Tony学长 阅读(245) 评论(0) 推荐(0) 编辑
摘要: pandas中,to_datetime()函数是用来进行获取时间和进行时间数据操作的函数。 dates = pd.to_datetime(pd.Series(['1989-8-18 13:14:55','1995-2-16']),format='%Y-%m-%d %H:%M:%S') 根据面临的数据 阅读全文
posted @ 2019-04-16 23:36 Tony学长 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 部分数据 1.将上牌时间更改为日期型 sec_cars.Boarding_time = pd.to_datetime(sec_cars.Boarding_time,format='%Y年%m月')#to_datetime函数第一个参数是传入日期(用于获取原数据的日期以及原格式),,第二个参数是使用f 阅读全文
posted @ 2019-04-16 23:33 Tony学长 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 读取excel表格: xlsx_income = pd.read_excel(r'E:\Bigdata_writer\数据挖掘\第5章 Python数据处理工具--Pandas\data_test02.xlsx',sheetname=0,header=None, skiprows=0,skip_fo 阅读全文
posted @ 2019-04-06 09:06 Tony学长 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 数据框指含有至少两个字段(或者序列)的数据集,数据框实际就是一个数据集 ; 数据集的行代表每一条观测,列代表各个变量。 一、创建数据框: 1.通过嵌套元组或者嵌套列表创建: df1 = pd.DataFrame([['张三',20,'男'],['李四',52,'男'],['小米','20','女'] 阅读全文
posted @ 2019-04-05 21:51 Tony学长 阅读(312) 评论(0) 推荐(0) 编辑