高登汗

摘要： 聚焦爬虫的设计思路: 1.确定url, 发起请求, 获取到响应 2.数据解析 3.数据持久化 requests模块发送get请求 # 导包 import requests url = 'https://www.baidu.com' # res就是我们拿到的响应数据 res = requests.ge 阅读全文

摘要： 1. http 基于 tcp/ip 协议 2. 百度是通用性爬虫 3. http 返回的状态码代表成功的是 200 4. 网页编码使用的函数式 encode() 5. 解码使用的函数式是 decode() 6. 爬虫又叫 网页蜘蛛、网络机器人 7. 什么是爬虫并解释其概念？ (1) 爬虫又叫网页蜘蛛 阅读全文

摘要： 1.res.text > 将响应对象转化为str类型 >如果你的响应数据是HTML，可以使用text转化为str import re import requests import pymysql # 确定url，向服务器发起请求 url = 'https://www.guidaye.com/' #抓 阅读全文

摘要： 1. 请求过程与网页基础(⭐⭐⭐) 1.1 URL介绍 - URL请求的网址，即统一资源定位符，它可以唯一确定我们想要请求的资源，其结构如下： https://www.baidu.com/s?wd=%E6%96%87%E6%A3%AEXE7%89%B9&rsv-spt=1协议 域名 查询的参数 ht 阅读全文

摘要： os模块 什么是os模块: os模块提供了多数操作系统的功能界河口函数. 当os模块被导入后，它会自使用与不同的操作系统平台，根据不同的平台进行相应的操作，在python编程时，经常和文件，目录打交道，这时就离不开os模块 os模块命令: 1.os.name 主要作用是判断目前正在使用的平台，并给出 阅读全文

摘要： 1.爬虫概念： 1.爬虫概念（⭐⭐⭐⭐⭐） 爬虫，又称网页蜘蛛或网路机器人。 爬虫是模拟人操作客户端（浏览器，APP）向服务器发起网路请求 抓取数据自动化的程序脚本。（⭐⭐⭐⭐⭐⭐） 说明： 1.模拟：用爬虫程序伪装出人的行为，避免被服务器识别为爬虫程序。 2.客户端：浏览器，App都可以实现人与服 阅读全文

摘要： 1.介绍： 虚拟环境就是一个隔离的python环境 不同的项目应该使用不同的虚拟环境,(可以使用同一个虚拟环境)，虚拟环境之间是隔离的不会导致环境之间的污染 2.虚拟环境管理模块的安装 1.windows系统： pip install virtualenvwrapper-win 2.mac本 ： p 阅读全文

摘要： 1.页眉 必须在第一行 2.目录 [toc] 3.标题需要使用# 注意 ：#与字体之间要有一个空格 4.代码块 ```python 注意：使用英文状态下的反引号 ``` 5.数学公式 $$ 6.插入图片 ![]() 7.插入视频 <video src='视频名称'></video> 8.修饰：加粗 阅读全文

摘要： 1. 简述CBV和FBV ？ 1. FBV和CBV本质是一样的，基于函数的视图叫做FBV，基于类的视图叫做CBV 2. 在python中使用cbv的优点： 提高了代码的复用性，可以使用面向对象的技术 可以使用不同的请求方式来实现http的处理方法，从而不需要更多的if。。else。。 判断. 2. 阅读全文

摘要： 1. 简述CBV和FBV ？ 1. FBV和CBV本质是一样的，基于函数的视图叫做FBV，基于类的视图叫做CBV 2. 在python中使用cbv的优点： 提高了代码的复用性，可以使用面向对象的技术 可以使用不同的请求方式来实现http的处理方法，从而不需要更多的if。。else。。 判断. 2. 阅读全文