爬

 

 f12在这里面查看访问了几次服务器网址

防爬虫的操作主要在响应头和请求头上面

爬虫非常重要的一个条件就是防止被发现是爬虫

那么我们可以在访问的时候提供一个虚假的用户信息

1.f12打开控制台

2.找到这个

 

 这就是用户的访问

3.把他写入程序进程里面

 

 4.写入获取网页的里面

 

 这样，我们就可以算是模拟人进行改操作了

这样我们就可以访问更多的网址

相对于这个简化了些许操作

 

 也可以尝试这样写

 

 这样写url的前面必须加一个f代表query里面的{}代表一个参数

 

 爬虫实现搜索单词

原理就是在访问该网页的时候添加一个搜索所需要的条件

然后在访问网址的时候顺带把这个数据添加进去就实现了查询操作

 

查询豆瓣电影

 

 查看他的xhr

 

 从这个里面就可以看到跳转后的界面

然后找到自己需要的数据

 

 打开头

 

 打开获取传到指定网址的信息

 

 将其获取放入编译器里面

 

叫做 重新封装参数

 

 

 注意不要打错字了

 

 访问的时候就把这个也放进去

 

 

 打印resp里面的指定信息，比如这个就是打印url网址

 

 改一下后缀就可以查看该网址不同的信息

 

 这个是查看榜单

 

 start代表开始的位置

添加一个关闭操作