入门01-爬取拉勾网页面的链接

 爬虫的步骤：
 1）使用python获得url的源码（向服务器发送请求）
 2）获得response的响应对象，获得响应的源码
 3）解析源码（正则表达式），获得需要抓取的数据
 4）存储爬取的资源（可写入到文件中，也可以写入到数据库中）

from urllib.request import urlopen
import re
url = "http://www.lagou.com"
response = urlopen(url)
# print(response)

# read() 获得response对象的源码信息
# print(response.read())

# decode将字节转换成字符串
# print(response.read().decode())

# 解析源码:爬取拉勾网的所有链接
html = response.read().decode()

# r代表字符串以原样输出,忽略转义字符
# res_url = r"<a.*?href=\".*?\""
res_url = r"<a.*?href=\"(http.*?)\""

# re.findall(正则表达式，待匹配字符串)
urls = re.findall(res_url, html)

# for i in urls:
#     print(i)
# 存储到txt中
# with open("lagou_urls.txt", "wt") as f:
#     for i in urls:
#         f.write(i+"\n")

# 存储到csv中
import csv
with open("lagou_urls.csv", "wt", newline="") as f:
    writer = csv.writer(f)
    for i in urls:
        writer.writerow([i])