断网大法发现隐藏网页上请求

在使用python进行网站数据爬取时，有时会遇到需要爬取图表数据，这些图表数据可能不是通过http请求返回，而是通过WebSockets协议返回数据。

需要爬取的图表数据

在Chrome浏览器中按F12可以观察到：

在XHR 页面中没有请求

通过WS观察

虽然通过WS可以看到有请求发出，但有些参数并不是很好拼出来。而且用python也不是很好编写Socket的代码。

• 我无意间发现可以通过断开网络，然后操作页面，会在XHR页面中出现红色的请求：
  

通过python请求这些链接，返回的数据跟Sockets中请求返回的数据是一样的！