爬斗鱼直播信息

总结思路:

1.循环遍历得到所有的URL

2.使用线程池发送所有的请求，获取响应。

3.在2的响应字符串中使用json.loads()方法转换为字典后提取需要的数据信息。

4.将信息数据保存到MongoDB中

 

注释：mongoDB需要开通外网访问。默认只有本地访问。

 

 

 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2021/11/16 22:12
# @Author : Lhtester
# @Site :
# @File : douyu.py
# @Software: PyCharm
import requests
import random
import time
import pymongo
import json
from concurrent.futures import ThreadPoolExecutor,wait,ALL_COMPLETED

class DouyuSpider:
    """爬虫类"""
    def __init__(self):
        """构造方法"""
        #headers:这是主要设置User-Agent 伪装成真实浏览器
        self.headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0;WOW64;Trident/7.0;rv:11.0) like Gecko'}
        #baseURL:基础URL
        self.baseURL='https://www.douyu.com/gapi/rkc/directory/mixList/0_0/'
        #MongoDB客户端对象
        self.client =pymongo.MongoClient(host='localhost', port=27017,username="root",password="123456")["admin"]

        #线程池
        self.executor =ThreadPoolExecutor(max_workers=10)

    def parse_page(self, url):
        """向URL发送请求，获取响应内容"""
        print('{}爬取中'.format(url))

        try:
            #随机休眠0~2秒，避免爬虫过快，会导致爬虫被封禁
            time.sleep(random.random() * 2 )
            #获取响应数据
            content = requests.get(url,headers=self.headers).text
            #转换为字典
            ret =json.loads(content)
            #提取需要的数据
            datas= ret['data']['rl']
            for data in datas:
                item={}
                #标题
                item['title'] = data['rn']
                #昵称
                item['pname'] = data['nn']
                #类型
                item['tanme'] = data['c2name']
                #人气数
                item['number'] = data['ol']
                #存入MongoDB


                print(item,type(item))
                self.client.chat.insert_many([item])#insert_many只能输入类型是set而不是dict，这在Mongo中是不可接受的。所以加了个括号


                print('{}爬取成功'.format(url))
        except Exception as ex:
            print(ex)
            print('{}爬取失败'.format(url))

    def startWork(self):
        """开始"""
        print('begin...')
        #所有的URL
        urls = [self.baseURL + str(i) for i in range(1,146)]
        #线程池
        all_task= [self.executor.submit(self.parse_page,url) for url in urls]
        #主线程等待
        wait(all_task,return_when=ALL_COMPLETED)

        print('end...')

if __name__ =="__main__":
    #创建爬虫对象
    spider = DouyuSpider()
    #开始爬虫
    spider.startWork()

 

 

 

使用python查询：