12 2018 档案

部署scrapy爬虫
摘要：1、新建文件夹，用来放之后的项目文件 在部署的项目文件夹里开启一个服务 cmd管理员运行: 默认的访问地址 是 http://localhost:6800/ 如果启动成功，可以看到jobs里面的表格内容即是要部署上去的scrapy服务,现在还没部署 2、项目目录里，cmd输入 scrapyd 执行, 阅读全文
posted @ 2018-12-17 16:21 ronle 阅读(1342) 评论(0) 推荐(0)
requests
摘要：如果报错 ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+ pip install requests==2.29.0 GET请求 1 import requests 2 3 headers = { 4 'User-Agent': 'Mozi 阅读全文
posted @ 2018-12-16 19:44 ronle 阅读(335) 评论(0) 推荐(0)
python3 多进程、队列、进程池、协程
摘要：多进程 互斥锁 队列 进程池 协程 使用协程下载图片 阅读全文
posted @ 2018-12-16 14:44 ronle 阅读(1335) 评论(1) 推荐(1)
python3排序
摘要：1 # 冒泡排序 2 array = [1, 6, 7, 2, 9, 4] 3 for i in range(len(array) - 1, 1, -1): 4 for j in range(0, i): 5 if array[j] > array[j + 1]: 6 array[j], array[j + 1] = array[j +... 阅读全文
posted @ 2018-12-16 12:13 ronle 阅读(317) 评论(0) 推荐(0)
mongodb
摘要：1 import json 2 3 import requests 4 import urllib3 5 from pymongo import MongoClient 6 7 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) 8 9 client = MongoClient('loca... 阅读全文
posted @ 2018-12-13 16:36 ronle 阅读(161) 评论(0) 推荐(0)
mysql
摘要：1 import pymysql 2 3 4 def main(): 5 conn = pymysql.connect(host="localhost", port=3306, user="", password="", 6 database="all_ip", charset="utf8") 7 8 c... 阅读全文
posted @ 2018-12-13 16:35 ronle 阅读(152) 评论(0) 推荐(0)
redis
摘要：1 #!usr/bin/env python 2 # -*- coding: utf-8 -*- 3 4 from redis import * 5 6 if __name__ == '__main__': 7 # 创建一个StrictRedis对象，链接redis数据库 8 # sr = StrictRedis(host='localhost', port=... 阅读全文
posted @ 2018-12-13 16:33 ronle 阅读(157) 评论(0) 推荐(0)
正则表达式
摘要：1 import re 2 3 res = r"速度[1-8a-zA-Z]" # 1...8 a...z A...Z 4 result = re.match(res, "速度z") 5 print(result) 6 # 匹配出的数据 7 print(result.group()) 8 9 impo 阅读全文
posted @ 2018-12-05 13:56 ronle 阅读(269) 评论(0) 推荐(0)