04 2019 档案
selenium使用
摘要:Selenium 查找元素 find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_ele 阅读全文
posted @ 2019-04-25 11:00 liudemeng 阅读(146) 评论(0) 推荐(0)
BeautifulSoup库的使用
摘要:BeautifulSoup 网页解析库 提取网页数据 第三方库,使用的时候进行安装: pip3 install beautifulsoup4 网页解析库 提取网页数据 第三方库,使用的时候进行安装: pip3 install beautifulsoup4 可根据标签名.属性.内容查找文档 建议使用l 阅读全文
posted @ 2019-04-17 16:17 liudemeng 阅读(205) 评论(0) 推荐(0)
jdk的安装和配置环境变量
摘要:一、下载 JDK是个免费的东东,所以大家不要去百度啥破解版了,直接去官网下载最新版本吧,比较安全,官网地址:http://www.oracle.com/technetwork/java/index.html 如图: 版本是在随时更新的,也许过了几个月之后网页的界面和版本又不同了淘宝开店流程,图中我浅 阅读全文
posted @ 2019-04-16 10:28 liudemeng 阅读(2346) 评论(0) 推荐(0)
爬虫数据提取方法
摘要:数据提取方法 json 数据交换格式,看起来像python中的(字典)的字符串 使用之前进行导包处理 import json 哪里会有json的数据 浏览器切换到手机版 抓包app json.loads 把json字符串转化为python类型 json.loads(json字符串) json.dum 阅读全文
posted @ 2019-04-16 09:51 liudemeng 阅读(692) 评论(0) 推荐(0)
requsets模块的学习
摘要:requests模块的学习 pip install requests response = requests.get(url,headers) # 发起get请求,请求url地址对应的响应 response = requests.post(url,data={请求体的字典}) # 发起post请求 阅读全文
posted @ 2019-04-16 09:10 liudemeng 阅读(269) 评论(0) 推荐(0)
爬虫的基本知识
摘要:1.浏览器的请求 url 在Chrome中点击检查,点到network url=请求的协议+网站的域名+资源的路径+参数 浏览器请求url地址 当前的url对应的响应+js+css+图片 >> elements中的内容 爬虫请求url地址 当前url地址对应的响应 elements的内容和爬虫获取到 阅读全文
posted @ 2019-04-15 16:42 liudemeng 阅读(256) 评论(0) 推荐(0)
谈谈我们对userAgent的看法,为什么爬虫中需要userAgent?
摘要:首先打开浏览器,按 F12 进入控制台(Console),然后输入:navigator.userAgent,即可看到 UA。例如: 1 2 Mozilla/5.0 (Windows NT 10.0; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0 1 2 Mo 阅读全文
posted @ 2019-04-10 14:09 liudemeng 阅读(930) 评论(0) 推荐(0)