爬虫中urllib模块

urllib被我们requests模块基本上已经替代了，但是里边还有不少有用的功能可以用，今天，我们来总结一下

urljoin

我们平时解析会得到相对路径，我们想要绝对路径时就需要拼接，说道平均我们就想到了+，但是你有没有想到这样一种情况，如果你的路径中既有绝对路径，又有相对路径，该怎么拼接。

urllib中的urljoin方法为我们解决了，这个问题

 

from urllib.parse import urljoin

domain = "https://i.cnblogs.com"
url = "/tt/cc"
real_url = urljoin(domain,url)
print(real_url)

# 当你的url含有http或https时urljoin不会为你拼接
url = "https://www.baidu.com/tt/cc"
real_url = urljoin(domain,url)
print(real_url)

结果：

https://i.cnblogs.com/tt/cc
https://www.baidu.com/tt/cc