随笔分类 -  python学习

python学习笔记
crawlspider抽屉爬取实例+分布
摘要：创建项目 scrapy startproject choutiPro 创建爬虫文件 scrapy genspider -t crawl chouti www.xxx.com 进入pycharm 培训setting文件 配置UA 和robotstxt 配置 # -*- coding: utf-8 -* 阅读全文
posted @ 2019-03-10 16:24 痒乐多多 阅读(239) 评论(0) 推荐(0)
scrapy框架中间件配置代理
摘要：scrapy框架中间件配置代理import random#代理池PROXY_http = [ '106.240.254.138:80', '211.24.102.168:80',]PROXY_https =[ '218.57.146.212:8888', '139.217.24.50:3128',] 阅读全文
posted @ 2019-03-10 16:23 痒乐多多 阅读(639) 评论(0) 推荐(0)
Python线程池任务
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- from concurrent.futures import ThreadPoolExecutor #线程池,导入模块 import time def task(hostname): ''' 假设这里是要提交的任务 :param hostname: :return: ... 阅读全文
posted @ 2019-02-23 14:26 痒乐多多 阅读(265) 评论(0) 推荐(0)
python-练习题
摘要：python-练习题 阅读全文
posted @ 2018-05-09 17:50 痒乐多多 阅读(268) 评论(0) 推荐(0)
python-字典
摘要：python-字典 阅读全文
posted @ 2018-05-09 17:45 痒乐多多 阅读(165) 评论(0) 推荐(0)
python-元组
摘要：python-元组 阅读全文
posted @ 2018-05-09 17:44 痒乐多多 阅读(170) 评论(0) 推荐(0)
python-列表
摘要：python 列表学习笔记 阅读全文
posted @ 2018-05-09 17:43 痒乐多多 阅读(149) 评论(0) 推荐(0)
python 字符串操作
摘要：python 字符串操作 阅读全文
posted @ 2018-05-04 14:55 痒乐多多 阅读(188) 评论(0) 推荐(0)