学习笔记五：必知必会的HTTP协议

HTTP协议：

超文本传输协议（HTTP，HyperText Transfer Protocol）是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。1960年美国人Ted Nelson构思了一种通过计算机处理文本信息的方法，并称之为超文本（hypertext），这成为了HTTP超文本传输协议的发展根基。Ted Nelson组织协调万维网协会（World Wide Web Consortium）和互联网工程工作小组（Internet Engineering Task Force）共同合作研究，最终发布了一系列的RFC，其中著名的RFC 2016定义了HTTP 1.1。

HTTP和HTTPS的区别：

参考文章：(2条消息) HTTPS和HTTP的区别_whatday的专栏-CSDN博客_https和http的区别

• HTTP的URL以  http：//  开头，而HTTPS的URL以  https：//  开头
• HTTP是不安全的，而HTTPS是安全的
• HTTP的标准端口是  80,而HTTPS的标准端口是  443
• 在OSI网络模型中，HTTP工作于应用层，而HTTPS工作在传输层
• HTTP无需加密，而HTTPS对传输的数据进行加密
• HTTP无需证书，而HTTPS需要认证证书

抓取HTTP请求：

使用Firefox或谷歌浏览器抓取：在要抓取页面内点击鼠标右键，点击检查即可抓取。

 

 使用BurpSuite抓取：可以将浏览器的连接设置设置为手动连接，然后在BurpSuite中设置好各项参数进行抓包。也可以直接用BurpSuite中自带的浏览器访问要抓取的网页进行抓包。

HTTP请求包：

http请求由三部分组成，分别是：请求行，消息报头，请求正文。

请求行：

请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本。（URI包含URL）

格式如下：Method Request-URI HTTP-Version CRLF

• Method表示请求防法代码
• Reruest-URI 是一个统一资源标识符
• HTTP-Version表示请求的HTTP协议版本
• CRLF表示回车和换行（除了作为结尾的CRLF外，不允许出现单独的CR或LF字符）

常见的请求方法：

• GET              请求获取Request-URI所标识的资源
• POST           在Request-URI所标识的资源后附加新的数据
• HEAD           请求获取由Request-URI所标识的资源的响应消息报头
• PUT              请求服务器存储一个资源，并用Request-URI作为其标识
• DELETE       请求服务器删除Request-URI所标识的资源
• OPTIONS     请求查询服务器的性能，或者查询与资源相关的选项和需求

消息报头：

例如：

Host: www.baidu.com

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101

Firefox/66.0

Accept: image/webp,*/*

Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2

Accept-Encoding: gzip, deflate, br

Referer: https://www.baidu.com/

Connection: keep-alive

Cookie: BAIDUID=636AC4A6764AA5693A158824605F2ECA:FG=1;

BIDUPSID=636AC4A6764AA5693A158824605F2ECA; PSTM=1555151944; delPer=0; BD_HOME=0; H_PS_PSSID=1464_21088_29064_28518_29098_29139_28836_28585_26350_29133_20719

一些常见的请求报头：

• User-Agent：包含发出请求的用户信息。
• Accept：Accept请求报头域用于指定客户端接受哪些类型的信息。eg：Accept：image/gif，表明客户端希望接受GIF图像格式的资源；Accept：text/html，表明客户端希望接受html文本。
• Referer：告诉服务器我是从哪个页面链接过来的。
• Cookie：身份凭证。

HTTP响应包：

HTTP响应包也是由三个部分组成，分别是：状态行，消息报头，响应正文。

状态行：

状态行格式如下：

HTTP-Version Status-Code Reason-Phrase CRLF

• HTTP-Version表示服务器HTTP协议的版本
• Status-Code表示服务器发回的响应状态代码
• Reason-Phrase表示状态代码的文本描述。

       常见的状态码：

• 200   OK   客户端请求成功
• 302   Found   重定向，当你访问该页面时将你跳转到别的网页
• 400   Bad Request   客户端请求语法错误，不能被服务器所理解
• 403   Forbidden   服务器收到请求，但是拒绝提供服务
• 404   Not Found   请求资源不存在
• 500   Internal Server Error   服务器发生不可预期的错误
• 503   Server Unavailable   服务器当前不能处理客户端的请求，一段时间后可能恢复正常

       消息报头：

       例如：

HTTP/1.1 200 OK

Accept-Ranges: bytes

Cache-Control: max-age=315360000

Connection: Keep-Alive

Content-Length: 705

Content-Type: image/gif

Date: Sat, 01 Jun 2019 05:46:40 GMT

Etag: "2c1-4a6473f6030c0" Expires: Tue, 29 May 2029 05:46:40 GMT

Last-Modified: Wed, 22 Jun 2011 06:40:43 GMT

Server: Apache

一些常见的响应报头：

• Server    Web服务器名称
• Set-cookie   服务器向客户端发送的信息
• Location   服务器通过这个头告诉浏览器去访问哪个页面，浏览器接收到这个请求后，通常会立刻访问Location头所指向的页面，通过配合302状态码
• Refresh   服务器通过这个告诉浏览器定时刷新浏览器