2023年3月16日
爬虫相关 requests高级用法、解析json、ssl认证(了解)、使用代理(重要)、超时设置、异常处理、上传文件、代理池搭建、爬取某视频网站、爬取新闻
摘要： ==requests高级用法== 解析json # 发送http请求，返回的数据会有xml格式，也有json格式 import requests data = { 'cname':'', 'pid':'', 'keyword':'500', 'pageIndex':1, 'pageSize':10, 阅读全文
posted @ 2023-03-16 21:34 缀月 阅读(88) 评论(0) 推荐(0)
爬虫 相关 requests模块介绍、requests发送get请求、requests携带参数、url编码解码、携带请求头http协议版本区别、发送post请求、携带数据、自动登录、携带cookie的两种方式、requests.session的使用、补充post请求携带数据编码格式、响应Response对象、编码问题、下载图片、视频
摘要： ==爬虫介绍== 爬虫是什么 爬虫就是程序 》从互联网中，各个网站上，爬取数据[能浏览的页面才能爬]，做数据清洗，入库 爬虫的本质 模拟方式http请求，获取数据 》入库 网站 app：抓包 补充：百度其实就是一个大爬虫 百度爬虫一刻不停的在互联网中爬取各个页面 》爬取完后 》保存到自己的数据库中 阅读全文
posted @ 2023-03-16 16:40 缀月 阅读(76) 评论(0) 推荐(0)