Python网络爬虫实战(一)快速入门

本系列从零开始阐述如何编写Python网络爬虫，以及网络爬虫中容易遇到的问题，比如具有反爬,加密的网站，还有爬虫拿不到数据，以及登录验证等问题，会伴随大量网站的爬虫实战来进行。

我们编写网络爬虫最主要的目的是爬取想要的数据还有通过爬虫去自动完成我们想在网站中做的一些事情。

从今天开始我会从基础开始讲解如何通过网络爬虫去完成你想要做的事。

先来看一段简单的代码。

import requests #导入requests包
url = 'https://www.cnblogs.com/LexMoon/'
strhtml = requests.get(url) #get方式获取网页数据
print(strhtml.text)

首先是import requests来导入网络请求相关的包，然后定义一个字符串url也就是目标网页，之后我们就要用导入的requests包来请求这个网页的内容。

这里用了requests.get(url)，这个get并不是拿取的那个get，而是一种关于网络请求的方法。

网络请求的方法有很多，最常见的有get，post，其它如put，delete你几乎不会见到。

requests.get(url)就是向url这个网页发送get请求(request)，然后会返回一个结果，也就是这次请求的响应信息。

响应信息中分为响应头和响应内容。

响应头就是你这次访问是不是成功了，返回给你的是什么类型的数据，还有很多一些。

响应内容中就是你获得的网页源码了。

好了，这样你就算是入门Python爬虫了，但是还是有很多问题。

1. get和post请求有什么区别？

2. 为什么有些网页我爬取到了，里面却没有我想要的数据？

3. 为什么有些网站我爬下来的内容和我真实看到的网站内容不一样？

get和post请求有什么区别？

get和post的区别主要在于参数的位置，比如说有一个需要登录用户的网站，当我们点击登录之后，账号密码应该放在哪里。

get请求最直观的体现就是请求的参数就放在了URL中。

比如说你百度Python这个关键字，就可以发现它的URL如下：

https://www.baidu.com/s?wd=Python&rsv_spt=1

这里面的dw=Python就是参数之一了，get请求的参数用?开始，用&分隔。

如果我们需要输入密码的网站用了get请求，我们的个人信息不是很容易暴露吗，所以就需要post请求了。

在post请求中，参数会放在请求体内。

比如说下面是我登录W3C网站时的请求，可以看到Request Method是post方式。

在请求的下面还有我们发送的登录信息，里面就是加密过后的账号密码，发送给对方服务器来检验的。

为什么有些网页我爬取到了，里面却没有我想要的数据？

我们的爬虫有时候可能爬下来一个网站，在查看里面数据的时候会发现，爬下来的是目标网页，但是里面我们想要的数据却没有。

这个问题大多数发生在目标数据是那些列表型的网页，比如说前几天班上一个同学问了我一个问题，他在爬携程的航班信息时，爬下来的网页除了获得不了航班的信息，其他地方都可以拿到。

网页地址:https://flights.ctrip.com/itinerary/oneway/cgq-bjs?date=2019-09-14

如下图：

这是一个很常见的问题，因为他requests.get的时候，是去get的上面我放的那个URL地址，但是这个网页虽然是这个地址，但是他里面的数据却不是这个地址。

听起来很像很难，但是从携程这个网站的设计人的角度来说，加载的这部分航班列表信息可能很庞大，如果你是直接放在这个网页里面，我们用户打开这个网页可能需要很久，以至于认为网页挂了然后关闭，所以设计者在这个URL请求中只放了主体框架，让用户很快进入网页中，而主要的航班数据则是之后再加载，这样用户就不会因为等待很长时间而退出了。