学习笔记：网易爬虫---国内新闻（第一次学习记录）

获取新闻列表：

网易——国内新闻，通过JS请求返回数据，每请求一次，URL带的参数都不一样：

cm_guonei_02

# url = 'http://temp.163.com/special/00804KVA/cm_guonei.js?' \
#           'callback=data_callback'
# url = 'http://temp.163.com/special/00804KVA/cm_guonei_02.js?' \
#       'callback=data_callback'

这里只爬取了第一次请求返回的新闻列表！！！（主要是还没想好怎么把所有请求返回的数据汇总起来）

#获取新闻列表

import requests
import json

def getNewsLink(url):
    newslinks = []
    res = requests.get(url)
    #把回传的str去掉头尾多余字符，处理成list格式
    newslist = res.text.lstrip('data_callback(').rstrip(')')
    #把str格式转换成list
    jd = json.loads(newslist)
    #遍历所有的新闻链接并汇总
    for link in jd:
        newslinks.append(link['docurl'])
    return newslinks

#获取新闻内容

import requests
from bs4 import BeautifulSoup
from datetime import datetime


def getDetail(url):
    detail = {}
    res = requests.get(url)
    # print(res.text)
    soup = BeautifulSoup(res.text,'html.parser')
    #标题
    detail['title'] = soup.select('.post_content_main h1')[0].text
    #时间和来源
    sources = soup.select('.post_time_source')[0].text.strip().split('来源')
    time = sources[0].strip()
    detail['dt'] = datetime.strptime(time,"%Y-%m-%d %H:%M:%S")
    detail['source'] = sources[1].lstrip(': ')
    #获取作者
    detail['editor'] = soup.select('.ep-editor')[0].text.lstrip('责任编辑：')
    # 获取正文
    art = []
    for p in soup.select('.post_text p'):
            art.append(p.text.strip())
    detail['article'] = ''.join(art)
    return detail

# url = 'http://news.163.com/18/0514/16/DHPFO0IL0001875N.html'
# print(getDetail(url))

 

#汇总数据写入excel

from TEST.news_163 import newsLinkList_163
from TEST.news_163 import article_163
import pandas

def getNews(url):
    newstotal = []
    links = newsLinkList_163.getNewsLink(url)
    for link in links:
        newstotal.append(article_163.getDetail(link))
    return newstotal

url = 'http://temp.163.com/special/00804KVA/cm_guonei.js?' \
          'callback=data_callback'
# print(len(getNews(url)))

df = pandas.DataFrame(getNews(url))
df.to_excel('163news.xlsx')