python - 随笔分类 - 唯允

python 调用js代码

摘要：Python2 安装pyv8 pip install-egit://github.com/brokenseal/PyV8-OS-X#egg=pyv8 from pyv8 import PyV8 ctxt = PyV8.JSContext() ctxt.enter() # 创建一个jsContext对阅读全文

posted @ 2018-10-10 17:56 唯允阅读(6937) 评论(0) 推荐(0)

gevent模块学习(四)

摘要：gevent.spawn会对传入的子任务集合进行调度，gevent.joinall 方法会阻塞当前程序，除非所有的greenlet都执行完毕，才会退出程序注意: 多条gevent.spawn(cls, *args, **kwargs).join()语句即使为阻塞调用也不会协程式调用,因为生成的Gr 阅读全文

posted @ 2018-09-25 14:32 唯允阅读(2062) 评论(0) 推荐(0)

gevent模块学习(三)

摘要：3. Group类,常用于不限制数量的管理异步任务的分组且可搜集运行结果 g = gevent.pool.Group(*args) -> Group 说明: 创建一个组对象,其实就是一个不限greenlets数量的pool,可以随时添加/删除/关闭greenlet对象 g.add(greenlet) 阅读全文

posted @ 2018-09-25 14:30 唯允阅读(271) 评论(0) 推荐(0)

gevent模块学习(二)

摘要：2. Queue类,常用用于Greenlet之间的异步共享 q = gevent.queue.Queue(maxsize=None, items=None) -> Queue 说明: 创建一个指定大小包含指定items的队列对象 q.empty() -> Boolean 说明: 队列是否为空 q.f 阅读全文

posted @ 2018-09-25 14:28 唯允阅读(1005) 评论(0) 推荐(0)

gevent模块学习(一)

摘要：1.Event类,事件主要用于Greenlet之间的异步通信 e = gevent.event.Event() -> Event 说明: 创建一个信号对象 e.set() -> None 说明: 设置标志位 e.clear() -> None 说明: 清除标志位 e.wait() -> None 说阅读全文

posted @ 2018-09-25 14:26 唯允阅读(1273) 评论(0) 推荐(0)

关于协程及其锁的一些认识

摘要：协程是用户相互协作的线程，又称微线程，本身还是线程。线程是系统级别的，它们是由操作系统调度；协程是程序级别的，由程序员根据需要自己调度。我们把一个线程中的一个个函数叫做子程序，那么子程序在执行过程中可以中断去执行别的子程序；别的子程序也可以中断回来继续执行之前的子程序，这就是协程。也就是说同一线程阅读全文

posted @ 2018-07-20 10:10 唯允阅读(2502) 评论(0) 推荐(0)

python 几分钟前，几小时前，几天前转为时间戳

摘要：一开始我是这么做的后面看到了datetime的timedelta, 所以代码改成了这样阅读全文

posted @ 2018-07-19 10:36 唯允阅读(1907) 评论(0) 推荐(0)

lxml 解析字符处理规则

摘要：规则1:无论输入的字符串是何种状态,lxml包接收后一律转换成unicode,其处理结果也是unicodetype,输出到文件时,需要指定编码,转换成特定的stringtype状态.规则2:lxml用xpath解析时,如果网页文件申明的编码,与实际传递给lxml的编码不一致,将产生问题.情形1,网页阅读全文

posted @ 2018-07-18 15:16 唯允阅读(587) 评论(0) 推荐(0)

scrapy---反爬虫

摘要：3)在settings中设置延迟阅读全文

posted @ 2017-08-18 22:42 唯允阅读(653) 评论(0) 推荐(0)

python---scrapy之MySQL同步存储

摘要：假设我们已经能获取到item里定义的字段的数据,接下来就需要保存item的数据到mysql数据库. pipeline用来存储item中的数据,将爬取到的数据进行二次处理首先,要做的准备的工作,安装MySQLdb,我安装的是Python-MySQL1.2.5模块. 自定义一个pipeline用mys 阅读全文

posted @ 2017-08-18 21:34 唯允阅读(299) 评论(0) 推荐(0)

python连接数据库异步存储

摘要：当同步写入数据库时,可能会发生下载速度很快,但是写入速度很慢的情况,因此我们采用异步存储写入数据库. 实现异步写入mysql数据库的思路： 1,将数据库的连接数据写入到settings文件中，供后面自定义的pipeline使用 2,自定义pipeline,使用Twisted框架实现异步 3,在set 阅读全文

posted @ 2017-08-18 20:50 唯允阅读(2762) 评论(0) 推荐(1)

随笔分类 - python