1.网页基础

13.web请求全过程

浏览器输入地址,去请求baidu的服务器,服务器返回html。

浏览器可以带着参数去请求服务器,服务器处理后返回相关html。

直接把返回的数据直接放在html里面返回浏览器的,则定义为服务器渲染

另外一种是客户端渲染,返回html骨架+一个脚本json,在浏览器(客户端)渲染。

所以在页面看不到数据的时候,需要去找脚本,抓包。浏览器F12,的network。

14.http协议

计算机传输数据协议常见的有TCP/IP,SOAP,HTTP,SMTP

其中http超文本传输协议,就是网页内容

http将消息分成3块

请求

请求行 > 请求方式get/post,请求地址url,协议

请求头 >  服务器要使用的附加信息

请求体 > 请求参数

响应

状态栏 > 协议 状态码

响应头 > 客户端需要的附加信息,cookie,密钥等

响应体 > 服务器返回客户端渲染的内容html,json等

 

请求头中重要的内容:

user-agent身份标识

referer防盗链

cookie用户登录信息

 

响应头中重要的内容:

cookie用户登录信息

很多token之类的乱码,用于反爬

 

请求方式,对爬虫不影响

get 显示提交

post隐式提交

 

posted @ 2022-11-07 13:14  鸡蛋JD  阅读(41)  评论(0)    收藏  举报