python爬取网页的通用代码框架

Posted on 2018-05-14 15:02  zhenshj  阅读(271)  评论(0)    收藏  举报

#爬取网页的通用代码框架
import requests

def getHTMLText(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status() #如果状态不是200,引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"

if __name__ == "__main__":
url = "http://www.baidu.com"
print(getHTMLText(url))

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3