当前位置:主页 > SEO工具 >

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

作者: 奕星SEO 分类: SEO工具 发布时间: 2019-09-28 05:15 内容来源:网络整理阅读量:

  本来是想找个网站进行抓包分析的,但是正式环境的网站HTTP请求太多,干扰太多,对分析不太友好,所以简单些了一个demo,对HTTP请求返回字符串。

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

  从上图我们已经看到成功抓包到一次HTTP请求和响应了,但是我们看到却有很多TCP请求,接下来我们来分析下这些TCP请求是做什么的?

  最开始是本地发送了2次请求到服务器,这里为什么会有两次请求,稍后再说,我们先主要看 HTTP 对应的端口请求,如下:

  看上面的截图我们知道这是TCP协议的第一次握手,熟悉TCP协议的同学肯定知道TCP建立连接有三次握手,断开连接有四次挥手。

  对于上面的概念,这里简单解释下,再介绍之前我们先看TCPHeader的数据结构图,对TCP头部数据结构有个直观的了解

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

  1. Win: TCP 窗口大小,是指TCP传输能接受的最大字节数,这个可以进行动态调节,也就是TCP的滑动窗口,通过动态调整窗口大小,来控制发送数据的速率。上图中占用2个字节,也就是16位,那么可以支持的最大数就是2^16=65536,所以默认情况下TCP头部标记能支持的最大窗口数是65536字节,也就是64KB。

  2. Len: 消息长度就是指数据报文段,因为整个TCP报文=Header+packSize,所以这个消息长度就是指要传送的数据包总共长度,在本次分析中也就是HTTP

  3. Mss: 最大报文段长度:这个就是规定最大的能传输报文的长度,为了达到最佳的传输效能,TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes)所以一般MSS值1460

  4. Ws: 窗口缩放调整因子:在前面说TCP窗口大小中我们说到,默认情况下,TCP窗口大小最大只能支持64KB的缓冲数据,在今天这个高速上网时代,这个大小肯定不满足条件了,所以,为了能够支持更多的缓冲数据 RFC 1323中就规定了TCP的扩展选项,其中窗口缩放调整因子就是其中之一,这个是如何起作用的呢?首先说明,这个参数是在[SYN]同步阶段进行协商的,我们结合上面抓包数据分析下。我们看到第一次请求协商的结果是WS=256,然后再ACK阶段扩展因子生效,调整了窗口大小。生效的抓包如下:

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

  我们发现,实际请求声明的窗口是260,WS扩展因子是256,最终计算的窗口大小是66560,所以我们知道了,这个扩展因子的作用就是,用原窗口大小乘以扩展因子,得到最终的窗口大小,也就是260*256=66560.

  5. SACK_PERM:SACK选项,我们知道TCP传输有包的确认机制,默认情况下,接受端接受到一个包后,发送ACK确认,但是,默认只支持顺序的确认,也就是说,发送A,B,C个包,如果我收到了A,C的包,B没有收到,那么对于C,这个包我是不会确认的,需要等B这个包收到后再确认,那么TCP有超时重传机制,如果一个包很久没有确认,就会当它丢失了,进行重传,这样会造成很多多余的包重传,浪费传输空间。为了解决这个问题,SACK就提出了选择性确认机制,启用SACK后,接受端会确认所有收到的包,这样发送端就只用重传真正丢失的包了。

  简单介绍了上面的基础概念后,我们来根据抓包梳理下HTTP请求的过程,根据HTTP请求本地端口是60378,梳理的流程如下:

  我们根据上面的流程梳理,可以知道,序号1-序号3是明显的三次握手,然后序号4进行了一次HTTP请求,接着序号5是对HTTP请求的一次接收确认,序号6是响应HTTP请求,序号7

  上述序号8,9,10是我关闭浏览器后抓到的包,既然是关闭浏览器,我们肯定知道就是TCP连接的断开了。这里有同学应该已经发现了问题了,我们的断开是4次挥手,你这抓的包只有三条记录,是你写错了吧?我要告诉你的是,我没有写错,这是真实的抓包抓的,至于为什么是三次,我们来分析一下:

爬虫核心原理:一次 HTTP 请求到底是如何完成的?

  我们发现上面的流程2和流程3答案是可以。在 RFC 2581中的4.2节有提到,ack可以延迟确认,只要求保证在500ms之内保证确认包到达即可。在这样的标准下,TCP确认是有可能进行合并延迟确认的,所以,根据这一点,我们推断下面这个包:


本文链接地址:http://www.seohuizhou.com/seogongju/9028.html
上一篇:<<湖北微信小程序发展带来的优势
下一篇:应用达人堂11期:玩转网页版聊天软件>>