2021年7月28日
聚焦爬虫
摘要： 聚焦爬虫：爬取页面中指定的页面内容 数据解析分类： 正则 bs4 xpath 数据解析原理概述： 所解析的内容都会在标签之间或者标签对应的属性中进行存储 定位指定标签 将指定标签中的数据提取 阅读全文
posted @ 2021-07-28 20:52 无极是一种信仰 阅读(50) 评论(0) 推荐(0)
requests模块之post请求
摘要： ##代码 import requests url='https://fanyi.baidu.com/sug' data={ 'kw':'people' } headers={ 'User-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW 阅读全文
posted @ 2021-07-28 14:44 无极是一种信仰 阅读(70) 评论(0) 推荐(0)
网页采集器+User-agent
摘要： ##简介 请求载体的身份表示 ##UA伪装 门户网站的服务器会检测对于请求的载体身份标识，如果检测到请求的载体身份标识为某一款游览器，说明该请求是一个正常的请求。但是如果检测到的载体身份标识不是基于某一款游览器的，则识别为爬虫。 ##操作 将游览器的User-agent复制到爬虫程序中 ##网页采集 阅读全文
posted @ 2021-07-28 13:17 无极是一种信仰 阅读(102) 评论(0) 推荐(0)