随笔分类 -  python

scrapy-redis 分布式学习记录
摘要：学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用，但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程，但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 阅读全文
posted @ 2018-02-24 18:00 晴天小猫 阅读(341) 评论(0) 推荐(0)
python select的使用
摘要：使用异步io实现只使用单进程，单线程的socket。处理多个用户的请求。 先简单说明一下select异步io工作原理： select 是一个跨平台的异步io模型，由于我们计算机的硬盘速度，远远低于我们内存的速度，因此如果同时有多个用户来请求数据时候，io效率就会变得更慢。 而select 是一直不断 阅读全文
posted @ 2018-01-13 15:51 晴天小猫 阅读(1818) 评论(0) 推荐(0)
python安装postgresql驱动
摘要：使用 psycopg2 连接 postgresql 下载 psycopg2 wget http://initd.org/psycopg/tarballs/PSYCOPG-2-7/psycopg2-2.7.1.tar.gz 解压安装，或者是使用pip 安装 pip install psycopg2-2 阅读全文
posted @ 2018-01-13 15:43 晴天小猫 阅读(3603) 评论(0) 推荐(0)
冒泡排序的python实现
摘要：import random import datetime def bubble_sort(data) -> list: """ 冒泡排序法的实现 :type data: list :return: """ length = len(data) start = datetime.datetime.n 阅读全文
posted @ 2018-01-13 15:40 晴天小猫 阅读(207) 评论(0) 推荐(0)
选择排序的python实现
摘要：import random import datetime # 选择排序 def getMaxIndex(index, ls) -> int: """ :type ls list :type index: int :return: """ # 选择排序时 一开始就认为当前的数的最大的 maxInde 阅读全文
posted @ 2018-01-13 15:39 晴天小猫 阅读(208) 评论(0) 推荐(0)
二分法查找python的实现
摘要：def BinSearch(ls, value): """ 使用二分法查找时列表内的元素必须是已经排好序的 :param ls: :param value: :return: """ minValue = 0 maxValue = len(ls) - 1 if value in ls: while 阅读全文
posted @ 2018-01-13 15:38 晴天小猫 阅读(235) 评论(0) 推荐(0)
插入排序的python实现
摘要：import random import datetime def InsertSort(data) -> list: """ :param data: :return: """ length = len(data) if length == 0: return data start = datet 阅读全文
posted @ 2018-01-13 15:37 晴天小猫 阅读(192) 评论(0) 推荐(0)
python array
摘要：在强类型语言当中，创建数组时一般都需要指定该数组的类型的，比如 只能保存int 类型或者char类型等 在python里面的列表是无法做到只能保存同一种类型的数据的，这需要使用内置的模块array来实现 例如: ls = array.array('i') array.array 需要接收一个参数，t 阅读全文
posted @ 2018-01-13 15:35 晴天小猫 阅读(245) 评论(0) 推荐(0)