爬虫相关概念

1.什么是爬虫？

通过一个程序，更加url进行爬取网页，获取有用信息。使用程序模拟浏览器，去向服务器发送请求，获取响应信息。

2.爬虫的核心？

爬取网页：爬取整个网页，包含了网页中所有的内容

解析数据：将网页中你得到的数据进行解析

难点：爬虫和反爬虫之间的博弈

3.爬虫的用途？

数据分析/人工数据集

社交软件冷启动

舆情监控

竞争对手监控

4.爬虫分类

通用爬虫

聚焦爬虫

5.反爬手段

（1） user-Agent

（2）代理IP

（3）验证码访问

（4）动态加载网页、网站返回是js数据并不是网页的真实数据

（5）数据加密

6.urllib库使用

打开pycharm建立一个py文件，名称千万别叫“urllib.py”.

#=================
# 使用urllib来获取百度首页的源码
#@author:tnwner
#@date:2022-05-20 13:54
#=================
import urllib.request

# (1) 定义一个url 就是你要访问的地址
url = 'http://www.baidu.com'

# (2) 模拟浏览器向服务器发送请求 response:响应
response = urllib.request.urlopen(url)

# (3) 获取响应中的页面的源码 content 内容的意思
# read方法 返回的是字节形式的二进制数据
# 我们要将二进制的数据转换为字符串
# 二进制-》字符串  解码 decode('编码的格式')
content = response.read().decode('utf-8')

# (4) 打印数据
print(content)