2019年5月30日

Python 多进程异常处理

摘要: 前言 最近项目用到了Python作为网站的前端,使用的框架是基于线程池的Cherrypy,但是前端依然有一些比较‘重’的模块。由于python的多线程无法很好的利用多核的性质,所以觉得把这些比较‘重’的功能用多进程进行管理。 Python 多进程编程 Python的多进程编程主要依赖multipro 阅读全文

posted @ 2019-05-30 20:35 ExplorerMan 阅读(2249) 评论(0) 推荐(0)

Python多进程编程-进程间协作(Queue、Lock、Semaphore、Event、Pipe)

摘要: 进程与进程之间是相互独立的,互不干扰。如果多进程之间需要对同一资源操作,就需要进程间共享变量,上一篇文章介绍了进程间共享数据的三大类Value、Array、Manager,这三种类的主要区别在于管理的数据类型不同。解决了进程间共享数据的问题,又有新的问题产生,那就是当多进程同时对一个共享资源进行写操 阅读全文

posted @ 2019-05-30 20:03 ExplorerMan 阅读(433) 评论(0) 推荐(0)

Mongodb 性能测试

摘要: 测试硬件环境 MacPro 处理器名称: Intel Core i7 处理器速度: 2.5 GHz 处理器数目: 1 核总数: 4 L2 缓存(每个核): 256 KB L3 缓存: 6 MB 内存: 16 GB 测试软件环境 MongoDB v3.2.4 300W存量数据 1.1 单条插入性能测试 阅读全文

posted @ 2019-05-30 19:27 ExplorerMan 阅读(3569) 评论(0) 推荐(0)

把 MongoDB 当成是纯内存数据库来使用(Redis 风格)

摘要: 基本思想 将MongoDB用作内存数据库(in-memory database),也即,根本就不让MongoDB把数据保存到磁盘中的这种用法,引起了越来越多的人的兴趣。这种用法对于以下应用场合来讲,超实用: 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 阅读全文

posted @ 2019-05-30 19:25 ExplorerMan 阅读(3863) 评论(0) 推荐(1)

MongoDB拥有SSD秒杀高富帅使用过程分享

摘要: 【IT168现场报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据 阅读全文

posted @ 2019-05-30 19:21 ExplorerMan 阅读(667) 评论(0) 推荐(0)

SSD卡对mongodb的影响

摘要: 结论 1:SSD卡显著改善磁盘IO,io占用在50%以下 2:SSD卡使mongodb性能稳定。在200并发,数据量是内存5倍的情况下仍然保证每秒1500次插入和4500次查询。 数据如下: 1:每秒IO完成次数【均在内存用完的时候】 有SSD卡的每秒完成磁盘次数 以及相应次数下磁盘占用% 没有ss 阅读全文

posted @ 2019-05-30 18:42 ExplorerMan 阅读(445) 评论(0) 推荐(0)

对GridFS数据进行分片

摘要: On this page files 集合 chunks 集合 On this page files 集合 chunks 集合 在对 GridFS 存储进行分片时,需要注意以下的情况: files 集合 大多数情况下不需要对 files 集合进行分片,这个集合通常很小,只包含了一些元信息.集合中也没 阅读全文

posted @ 2019-05-30 12:13 ExplorerMan 阅读(632) 评论(0) 推荐(0)

python 将图片存入mongodb,读取图片,gridfs模块

摘要: 导入图片引入模块,其中gridfs模块不需要单独安装,引入了pymongo即可直接引入from pymongo import MongoClientfrom gridfs import *import os#链接mongodbclient=MongoClient('localhost',27017) 阅读全文

posted @ 2019-05-30 12:09 ExplorerMan 阅读(2357) 评论(0) 推荐(0)

导航