计算机基础相关

HTTP/HTTPS

HTTP和HTTPS的基本概念

　　HTTP：是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更加高效，使网络传输减少。

　　HTTPS：是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。

　　HTTPS协议的主要作用可以分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。

 

HTTP与HTTPS有什么区别？

  • https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。
  • http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。
  • http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。
  • http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。

 

HTTPS的工作原理

　　我们都知道HTTPS能够加密信息，以免敏感信息被第三方获取，所以很多银行网站或电子邮箱等等安全级别较高的服务都会采用HTTPS协议。

　客户端在使用HTTPS方式与Web服务器通信时有以下几个步骤，如图所示。

　　（1）客户使用https的URL访问Web服务器，要求与Web服务器建立SSL连接。

　　（2）Web服务器收到客户端请求后，会将网站的证书信息（证书中包含公钥）传送一份给客户端。

　　（3）客户端的浏览器与Web服务器开始协商SSL连接的安全等级，也就是信息加密的等级。

　　（4）客户端的浏览器根据双方同意的安全等级，建立会话密钥，然后利用网站的公钥将会话密钥加密，并传送给网站。

　　（5）Web服务器利用自己的私钥解密出会话密钥。

　　（6）Web服务器利用会话密钥加密与客户端之间的通信。

 

 

 

HTTPS的优缺点

尽管HTTPS并非绝对安全，掌握根证书的机构、掌握加密算法的组织同样可以进行中间人形式的攻击，但HTTPS仍是现行架构下最安全的解决方案，主要有以下几个好处：

  • 使用HTTPS协议可认证用户和服务器，确保数据发送到正确的客户机和服务器；
  • HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，要比http协议安全，可防止数据在传输过程中不被窃取、改变，确保数据的完整性。
  • HTTPS是现行架构下最安全的解决方案，虽然不是绝对安全，但它大幅增加了中间人攻击的成本。
  • 谷歌曾在2014年8月份调整搜索引擎算法，并称“比起同等HTTP网站，采用HTTPS加密的网站在搜索结果中的排名将会更高”。

虽然说HTTPS有很大的优势，但其相对来说，还是存在不足之处的：

  • HTTPS协议握手阶段比较费时，会使页面的加载时间延长近50%，增加10%到20%的耗电；
  • HTTPS连接缓存不如HTTP高效，会增加数据开销和功耗，甚至已有的安全措施也会因此而受到影响；
  • SSL证书需要钱，功能越强大的证书费用越高，个人网站、小网站没有必要一般不会用。
  • SSL证书通常需要绑定IP，不能在同一IP上绑定多个域名，IPv4资源不可能支撑这个消耗。
  • HTTPS协议的加密范围也比较有限，在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用。最关键的，SSL证书的信用链体系并不安

 

HTTP1.0和HTTP1.1的一些区别

HTTP1.0最早在网页中使用是在1996年，那个时候只是使用一些较为简单的网页上和网络请求上，而HTTP1.1则在1999年才开始广泛应用于现在的各大浏览器网络请求中，同时HTTP1.1也是当前使用最为广泛的HTTP协议。 主要区别主要体现在：

  • 缓存处理，在HTTP1.0中主要使用header里的If-Modified-Since,Expires来做为缓存判断的标准，HTTP1.1则引入了更多的缓存控制策略例如Entity tag，If-Unmodified-Since, If-Match, If-None-Match等更多　　可供选择的缓存头来控制缓存策略。
  • 带宽优化及网络连接的使用，HTTP1.0中，存在一些浪费带宽的现象，例如客户端只是需要某个对象的一部分，而服务器却将整个对象送过来了，并且不支持断点续传功能，HTTP1.1则在请求头引入了range头域，它允许只请求资源的某个部分，即返回码是206（Partial Content），这样就方便了开发者自由的选择以便于充分利用带宽和连接。
  • 错误通知的管理，在HTTP1.1中新增了24个错误状态响应码，如409（Conflict）表示请求的资源与资源的当前状态发生冲突；410（Gone）表示服务器上的某个资源被永久性的删除。
  • Host头处理，在HTTP1.0中认为每台服务器都绑定一个唯一的IP地址，因此，请求消息中的URL并没有传递主机名（hostname）。但随着虚拟主机技术的发展，在一台物理服务器上可以存在多个虚拟主机（Multi-homed Web Servers），并且它们共享一个IP地址。HTTP1.1的请求消息和响应消息都应支持Host头域，且请求消息中如果没有Host头域会报告一个错误（400 Bad Request）。
  • 长连接，HTTP 1.1支持长连接（PersistentConnection）和请求的流水线（Pipelining）处理，在一个TCP连接上可以传送多个HTTP请求和响应，减少了建立和关闭连接的消耗和延迟，在HTTP1.1中默认开启Connection： keep-alive，一定程度上弥补了HTTP1.0每次请求都要创建连接的缺点。

 

http请求慢的解决思路

第一步，检查网络

ping命令检查网络域名解析是否正常，ping服务器的延迟是否过大，如果过大可以检查Ip是否冲突，或者交换机网线是否正常插好，通过nmon还可以查看网络流量，一般用的千兆交换机理论速率是1000/8=125MB每秒，但是这理论峰值一般都无法达到，所以如果网络流量达到了80~100MB每秒则可以判定瓶颈在交换机上，也可以用telnet来查看端口访问是否正常。通过这些方式，首先排除网络可能出现的问题，如果网络没有问题，那就开始第二步

第二步，检查服务器内存

如果请求响应速度慢，一般跟内存关联比较大，通过free -m, vmstat 1，nmon工具等方式判断内存资源是否紧缺，如果内存资源不存在问题，进入第三部

第三步，查看CPU负载

可以通过sar、vmstat、top、nmon等工具或命令判断cpu是否过载，如果没有问题那就进行第四步

第四步，检查磁盘IO

可以通过iostat 1、vmstat 、nmon等命令检查磁盘的读写，如果没有问题，linux系统自身的性能问题基本排除

第五步，抓取进程堆栈信息

通过jstack -l pid | tee -a out.log 将pid的堆栈信息抓取出来，放到out.log的文件中分析，看是在java进程的哪一步耗时较大，然后针对那部分代码进行优化

 

Http的request和response的协议组成

1.request请求组成：

它由四部分组成即：请求行，请求头部，空行，请求数据

2.response响应组成：

它也由四部分组成即：状态行，消息报头，空行，响应正文。

 

http的缓存分类：

1.强制缓存：需要服务器参与判断，当第一次发送请求时，服务器会返回缓存过期时间，那下次请求时，请求时间如果小于到期时间，就可以直接去缓存中取值。否则不适用，无需再向服务器询问。（http1.0使用Expires来返回到期时间，即Expires的值就是到期时间。在http1.1被Cache-Control替代）

2.对比缓存：需要服务器参与判断，当第一次发送请求时，服务器会把修改时间（缓存标识Last-Modified/If-Modified-Since)数据一起发到客户端缓存中，当下一次请求时，就会把修改时间一起发送到服务器，如果修改时间一致，那么服务器就返回304，那就可以去缓存中取值。否则返回200，则需要重新去服务器请求数据。

ETag 是标识码由服务器返回，下次请求时跟服务器的If-None-Match对比得知是否去缓存取值。

强制缓存优先级高于对比缓存。

 

https加密原理

    • client向server发送请求https://baidu.com，然后连接到server的443端口。

    • 服务端必须要有一套数字证书，可以自己制作，也可以向组织申请。区别就是自己颁发的证书需要客户端验证通过，才可以继续访问，而使用受信任的公司申请的证书则不会弹出提示页面，这套证书其实就是一对公钥和私钥。

    • 传送证书
      这个证书其实就是公钥，只是包含了很多信息，如证书的颁发机构，过期时间、服务端的公钥，第三方证书认证机构(CA)的签名，服务端的域名信息等内容。

    • 客户端解析证书
      这部分工作是由客户端的TLS来完成的，首先会验证公钥是否有效，比如颁发机构，过期时间等等，如果发现异常，则会弹出一个警告框，提示证书存在问题。如果证书没有问题，那么就生成一个随机值（密钥）。然后用证书对该随机值进行加密。

    • 传送加密信息
      这部分传送的是用证书加密后的密钥（随机值），目的就是让服务端得到这个密钥（随机值），以后客户端和服务端的通信就可以通过这个随机值来进行加密解密了。

    • 服务端加密信息
      服务端用私钥解密，得到了客户端传过来的密钥（随机值），然后把内容通过该值进行对称加密。

    • 传输加密后的信息
      这部分信息是服务端用密钥（随机值）对称加密后的信息，可以在客户端被还原。

    • 客户端解密信息
      客户端用之前生成的密钥（随机值）解密服务端传过来的信息，于是获取了解密后的内容。

 

https如何防范中间人攻击

中间人攻击方式

  • 直接抓取报文获得明文信息
  • 非法中间加密代理，窃取明文信息
  • 留存密文，如果对称**泄露，解密历史报文

 

http状态码

 

 

TCP/UDP

为什么TCP要经过三次握手四次挥手

TCP 3次握手

  • 客户端向服务器发送一个SYN（包含了SYN，SEQ）。
  • 当服务器接收到客户端发过来的SYN时，会向客户端发送一个SYN+ACK的数据包，其实ACK的ack等于上一次发送SYN数据包的（SYN+SEQ）。
  • 当客户端接收到服务器发送过来的SYN+ACK数据包时，当接收到后向服务器发送ACK的数据包，此时ACK数据包中的ack值等于上一次SYN中的seq+syn。
  •  当服务器收到了客户端的发送过来的ACK数据包时，确认无误后，向客户端发送数据。

 

为什么要3次握手

  • 防止已过期的连接请求报文突然又传送到服务器，因而产生错误。

Client发生一个请求连接报文可能因为网络延迟等原因，没有送达到server中。但是当这个client的请求报文送达到server时，如果没有三次握手的话，server就会直接发数据可client，这样会导致server资源的浪费。

解决“网络中存在延迟的重复分组”的问题

在不可靠信道上可靠地传输信息

因为TCP是一个可靠的协议，但是IP是一个不可靠的协议，利用TCP使IP传输过程变得可靠。这样的话，如果发生丢包，传输顺序出错等问题，TCP协议都可以解决。为了满足不可靠信息在可靠的传输信息。

那就是可以这样说，确认c/s是不是相应的服务都准备好了，只有通过了3次握手才能直接传输数据并且满足了数据可靠性的传输。

http://www.cnblogs.com/xpress/

 

 TCP 4次挥手

  • 先由客户端向服务器端发送一个FIN，请求关闭数据传输。
  • 当服务器接收到客户端的FIN时，向客户端发送一个ACK，其中ack的值等于FIN+SEQ
  • 然后服务器向客户端发送一个FIN，告诉客户端应用程序关闭。
  • 当客户端收到服务器端的FIN是，回复一个ACK给服务器端。其中ack的值等于FIN+SEQ

为什么要4次挥手？

  •  确保数据能够完成传输。

但关闭连接时，当收到对方的FIN报文通知时，它仅仅表示对方没有数据发送给你了；但未必你所有的数据都全部发送给对方了，所以你可以未必会马上会关闭SOCKET,也即你可能还需要发送一些数据给对方之后，再发送FIN报文给对方来表示你同意现在可以关闭连接了，所以它这里的ACK报文和FIN报文多数情况下都是分开发送的。

 

TCP可靠传输原理实现

  • 首先，采用三次握手来建立TCP连接，四次握手来释放TCP连接，从而保证建立的传输信道是可靠的。
  • 其次，TCP采用了连续ARQ协议（回退N，Go-back-N；超时自动重传）来保证数据传输的正确性，使用滑动窗口协议来保证接方能够及时处理所接收到的数据，进行流量控制。
  • 最后，TCP使用慢开始、拥塞避免、快重传和快恢复来进行拥塞控制，避免网络拥塞。

 

Tcp和Udp的区别？

  • （基于连接vs无连接）tcp是面向连接的（三次握手；四次挥手）；udp不是面向连接的
  • （重量级vs轻量级）tcp是一个重量级的协议；udp则是轻量级的协议。一个tcp数据报的报头大小最少20字节，udp数据报的包头固定8个字节
  • （可靠性）tcp交付保证：如果消息在传输中丢失，那么它将重发；udp没有交付保证，一个数据包在运输过程中可能丢失。
  • （有序性）消息到达网络的另一端可能是无序的，tcp协议将为你拍好序。Udp不提供任何有序性的保证。
  • （速度）tcp慢，适合传输大量数据；udp快，适合传输少量数据。
  • （流量控制和拥塞控制）TCP有流量控制和拥塞控制，udp没有。
  • tcp面向字节流，udp面向报文
  • tcp只能单播，不能发送广播和组播；udp可以广播和组播。

Tcp应用：邮件传输     udp应用：qq聊天、qq视频

 

流量控制和拥塞控制：

流量控制：就是让发送方发送速率不要太快，要让接收方来的及接收。

拥塞控制：防止过多的数据注入到网络中，这样可以使网络中的路由器或链路不致过载。拥塞控制所要做的都有一个前提：网络能够承受现有的网络负荷。拥塞控制是一个全局性的过程，涉及到所有的主机、路由器，以及与降低网络传输性能有关的所有因素。

 

如何设计在 UDP 上层保证 UDP 的可靠性传输

UDP它不属于连接型协议，因而具有资源消耗小，处理速度快的优点，所以通常音频、视频和普通数据在传送时使用UDP较多，因为它们即使偶尔丢失一两个数据包，也不会对接收结果产生太大影响。

         传输层无法保证数据的可靠传输，只能通过应用层来实现了。实现的方式可以参照tcp可靠性传输的方式，只是实现不在传输层，实现转移到了应用层。

         实现确认机制、重传机制、窗口确认机制。

         如果你不利用Linux协议栈以及上层socket机制，自己通过抓包和发包的方式去实现可靠性传输，那么必须实现如下功能：

         发送：包的分片、包确认、包的重发

         接收：包的调序、包的序号确认

         目前有如下开源程序利用udp实现了可靠的数据传输。分别为RUDP、RTP、UDT。

1RUDP

RUDP 提供一组数据服务质量增强机制，如拥塞控制的改进、重发机制及淡化服务器算法等，从而在包丢失和网络拥塞的情况下， RTP 客户机（实时位置）面前呈现的就是一个高质量的 RTP 流。在不干扰协议的实时特性的同时，可靠 UDP 的拥塞控制机制允许 TCP 方式下的流控制行为。

2RTP

         实时传输协议（RTP）为数据提供了具有实时特征的端对端传送服务，如在组播或单播网络服务下的交互式视频音频或模拟数据。应用程序通常在 UDP 上运行 RTP 以便使用其多路结点和校验服务；这两种协议都提供了传输层协议的功能。但是 RTP 可以与其它适合的底层网络或传输协议一起使用。如果底层网络提供组播方式，那么 RTP 可以使用该组播表传输数据到多个目的地。

RTP 本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于底层服务去实现这一过程。 RTP 并不保证传送或防止无序传送，也不确定底层网络的可靠性。 RTP 实行有序传送， RTP 中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，例如：在视频解码中，就不需要顺序解码。

3UDT

         基于UDP的数据传输协议（UDP-basedData Transfer Protocol，简称UDT）是一种互联网数据传输协议。UDT的主要目的是支持高速广域网上的海量数据传输，而互联网上的标准数据传输协议TCP在高带宽长距离网络上性能很差。顾名思义，UDT建于UDP之上，并引入新的拥塞控制和数据可靠性控制机制。UDT是面向连接的双向的应用层协议。它同时支持可靠的数据流传输和部分可靠的数据报传输。由于UDT完全在UDP上实现，它也可以应用在除了高速数据传输之外的其它应用领域，例如点到点技术（P2P），防火墙穿透，多媒体数据传输等等。

         因项目中的需要，现在详细分析一下UDT是如何通过udp实现数据的可靠传输。通过阅读源码的方式。

 

posted @ 2021-06-05 15:54  flyacome  阅读(96)  评论(0)    收藏  举报