摘要：
以下是多线程获取返回值的一种实现方式 需要注意的是： 如果多个线程共用一个公共数据，那么我们需要做的就是将这个公共数据设置成队列格式，要不然多个线程共同访问这个数据可能会出错，需要加锁。设置成队列比加锁再放锁效率高多了 阅读全文
posted @ 2019-08-10 23:47
理想几岁
阅读(8605)
评论(1)
推荐(0)
摘要：
python多进程想必大部分人都用到过，可以充分利用多核CPU让代码效率更高效。 我们看看multiprocessing.pool.Pool.map的官方用法 map(func, iterable[, chunksize]) A parallel equivalent of the map() bu 阅读全文
posted @ 2019-08-10 18:37
理想几岁
阅读(11602)
评论(0)
推荐(1)
摘要：
最近一项工作需要读取数据库中1500万条数据，考虑到数据量太大，不方便直接一次性读取，不然会内存爆炸。想到用pandas.read_sql_query()里有一个chunksize可以分批返回chunksize个数据，于是用pandas试了下，代码如下： import pandas as pd fr 阅读全文
posted @ 2019-08-10 17:15
理想几岁
阅读(11505)
评论(7)
推荐(2)
浙公网安备 33010602011771号