用requests库和BeautifulSoup4库爬取新闻列表

1、用requests库和BeautifulSoup4库，爬取校园新闻列表的时间、标题、链接、来源、详细内容。

要求：（1）将其中的时间str转换成datetime类型。（2）将取得详细内容的代码包装成函数。

import requests
from bs4 import BeautifulSoup
from datetime import datetime

webs="http://news.gzcc.cn/html/xiaoyuanxinwen/"
res=requests.get(webs)
res.encoding='utf-8'  #编码转换，避免中文乱码输出
soup=BeautifulSoup(res.text,"html.parser")  #html.parser是指定解析器

#下面函数是输出新闻的详细内容
def getdetail(url):
    resd=requests.get(url)
    resd.encoding='utf-8'
    soupd=BeautifulSoup(resd.text,'html.parser')
    return (soupd.select('.show-content')[0].text)

#下面函数是输出新闻的时间，类型为datetime
def gettime(url):
    resd=requests.get(url)
    resd.encoding='utf-8'
    soupd=BeautifulSoup(resd.text,'html.parser')
    tx1=soupd.select('.show-info')[0].text
    tx2="{0:.24}".format(tx1[5:24])
    time=datetime.strptime(tx2,'%Y-%m-%d %H:%M:%S') #把字符串类型转换成时间类型
    return (time)

for news in soup.select('li'):
    if len(news.select('.news-list-title'))>0:
        #如果存在新闻列表标题的话（有内容则会大于0）
        title=(news.select('.news-list-title')[0].text)
        #输出标题的内容
        url=news.select('a')[0]['href']
        #输出a标签中的href内容（即网址）
        
        time=gettime(url)
        #用列表列出子标签后取出第一个元素的内容（时间）
        sorce=(news.select('.news-list-info')[0].contents[1].text)
        #用列表列出子标签后取出第二个元素的内容（来源）
        detail=getdetail(url)
        #输出详细内容
        print(time,sorce,title,'\n',url,'\n',detail)
        #输出新闻时间、来源、标题、链接、和内容

 

2、一个自己感兴趣的主题，做类似的操作，为后面“爬取网络数据并进行文本分析”做准备。

import requests
from bs4 import BeautifulSoup

mt="http://gz.meituan.com/shop/2380968"
res=requests.get(mt)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,"html.parser")

for news in soup.select('li'):
    if len(news.select('.title'))>0:
        titles=(news.select('.title'))
     
        print(titles)