HTTP代码返回418＜Response [418]＞

​
爬虫入门程序： 简单查看网页的内容。

问题描述

运行结果是没有问题的！但是不会出现结果！

import requests
import bs4

headers = {
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
res = requests.get("https://movie.douban.com/top250")

soup = bs4.BeautifulSoup(res.text, "html.parser")#指定的解析器
targets = soup.find_all("div", class_="hd")
for each in targets:
        print(each.a.span.text)

先打印一下req，发现结果是<Response [418]>

print(res)
这是因为现在很多网站都有反**机制，需要在代码前面添加headers，或者在requests的时候加headers（我用的就是这种）

注意：有时候只加UA可能还不够，视情况添加其他的headers的内容。

解决办法：

import requests
import bs4

res=requests.get('https://movie.douban.com/top250',headers={'user-agent':'Mozilla/5.0'})

print(res)
soup = bs4.BeautifulSoup(res.text, "html.parser")#指定的解析器
targets = soup.find_all("div", class_="hd")
for each in targets:
        print(each.a.span.text)
        print('*')

查看运行结果

运行成功！
​​​​​​​​​​​​​​​​​​​​​​​​

​