摘要: import asyncio import aiohttp #请求头 # heades ={} async def get_request(url): #实例化一个请求对象 async with aiohttp.ClientSession() as sess: #和request用法一样 async 阅读全文
posted @ 2020-06-07 13:05 python爬虫工程师 阅读(136) 评论(0) 推荐(0)
摘要: from selenium import webdriver from selenium.webdriver.chrome.options import Options #创建谷歌无头浏览器, chrome_options =Options() chrome_options.add_argument 阅读全文
posted @ 2020-06-05 21:35 python爬虫工程师 阅读(169) 评论(0) 推荐(0)
摘要: from selenium import webdriver from selenium.webdriver import ActionChains,ChromeOptions option = ChromeOptions() option.add_experimental_option('excl 阅读全文
posted @ 2020-06-05 21:28 python爬虫工程师 阅读(680) 评论(0) 推荐(0)
摘要: 1.基础爬虫题: 目标网址:https://www.3839.com/top/hot.html 项目需求:爬取人气榜单所有游戏信息,游戏评价 题目要求:使用多线程、生产者消费者模式爬取,不得使用任何爬虫框架 游戏信息字段: 游戏idgame_id83294 游戏名game_name我的世界 游戏lo 阅读全文
posted @ 2020-06-05 21:16 python爬虫工程师 阅读(396) 评论(0) 推荐(0)
点击右上角即可分享
微信分享提示