作业七：理解爬虫原理

理解爬虫原理

 

改作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851

一、简单说明爬虫原理

如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；

基本流程大致是：

发送请求-----》获取响应内容-----》解析内容-----》保存数据

二、理解爬虫开发过程

1、简要说明浏览器工作原理

浏览器工作原理的实质就是实现http协议的通讯，大致分为三个阶段：

连接，服务器通过一个ServerSocket类对象对某端口进行监听，监听都之后进行连接，打开一个socket虚拟文件。

请求，创建与监理socket连接相关的流对象后，浏览器获取请求，为get请求，则从请求信息中获取所访问的html文件名，向服务器发送请求。

响应，服务器收到请求后，搜索相关的目录文件，若不存在，返回错误的信息。若存在，则读取html文件，进行加http头等处理响应给浏览器，浏览器解析html文件，若其中还包含图片，视频等资源，则浏览器再次访问web服务器，获取图片视频等，并对其进行组装显示给用户。

2、使用 requests 库抓取网站数据

1
2
3
4
5
import requests
url='http://news.gzcc.cn/html/xiaoyuanxinwen'
res = requests.get(url)
res.encoding=('utf-8')
print(res.text)

　　结果如下图：

3、使用 requests 库抓取网站数据

了解网页并且写一个简单的html文件，包含多个标签，类，id：

1
2
3
4
5
6
7
8
9
10
<html>
<head>
<meta charset="utf-8">
<body>
<h1 id="title">标题</h1>
<p>点击一下</p>
<button type="button" id="button">按钮</button>
</body>
</head>
</html>

　　

4、使用 Beautiful Soup 解析网页

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

select（选择器）定位数据

1.找出含有特定标签的html元素

1
2
soup=BeautifulSoup(res.text,'html.parser')
soup.select('li')　

结果如图：

2.找出含有特定类名的html元素

1
2
3
soup=BeautifulSoup(res.text,'html.parser')
for i in soup.select('.news-list-title'):
    print(i)

结果如图：

3.找出含有特定id名的html元素

1
2
soup=BeautifulSoup(res.text,'html.parser')
print(soup.select('#menu')[0].text) 

 结果如图：

5、提取一篇校园新闻的标题、发布时间、发布单位

1
2
3
4
5
6
7
8
9
10
import requests
from bs4 import BeautifulSoup
 
url='http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
res = requests.get(url)
res.encoding=('utf-8')
soup=BeautifulSoup(res.text,'html.parser')
title=soup.select('.show-title')
time=soup.select('.show-info')
print(title,'\n',time)

　　结果如图：

 

posted @ 2019-06-18 15:46  momo墨羽  阅读(152)  评论(0)    收藏  举报