2018年1月17日
使用scrapy爬取百度股票
摘要： 1.spiders文件夹下的爬虫文件 2.pipelines.py 阅读全文
posted @ 2018-01-17 21:10 TAMAYURA 阅读(966) 评论(1) 推荐(0)
使用requests进行模拟登陆
摘要： import re import requests header = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", 'Referer': 'https://passport.l... 阅读全文
posted @ 2018-01-17 20:59 TAMAYURA 阅读(270) 评论(0) 推荐(0)
使用线程池进行爬虫
摘要： import requests #pip3 install requests import re import hashlib import time from concurrent.futures import ThreadPoolExecutor pool=ThreadPoolExecutor(50) movie_path=r'C:\mp4' def get_page(url): ... 阅读全文
posted @ 2018-01-17 20:57 TAMAYURA 阅读(292) 评论(1) 推荐(0)