2011年10月19日

mongodb/SQL 连接池小记

摘要: 默认情况下,基本所有数据库都是有连接池项的。mongodb也不例外,当我们使用一致的连接字符串时,这些连接都会归到一个池里重复利用,如果没设置最小minpoolsize 连接池会在一定的时间内关闭掉这些连接,当设置了此值时,连接池会保留这个值数量的活动连接以重用利用,从而必免反复创建浪费开销。 这里需要注意的是,连接字符串必段一样的,否则会重新创建另外一个池 。(SQL/Mongodb 都是如此)。在串行过程中,使用同一连接字符串依次创建的连接在一般指向同一个连接(当没有其它并行线程的情况下)。并行过程中,则表现为池中MinimumPoolSize循环利用。而不同的连接字符串创建连接必定都是. 阅读全文

posted @ 2011-10-19 23:00 小城岁月 阅读(5304) 评论(5) 推荐(4) 编辑

MongoVUE 客户端工具

摘要: MongoVUE是一个可视化的界面的客户端工具,有点像SQL SERVER,功能目前来说很全了,查询功能,操作功能,浏览功能都很完整,并且GFS文件的查询浏览都可以。不过目前已经收费了。看一下界面,不由的喜欢。1.登录2.操作界面 阅读全文

posted @ 2011-10-19 09:08 小城岁月 阅读(1754) 评论(4) 推荐(4) 编辑

2011年10月18日

SQL/MongoDB 连接并发测试

摘要: 最近一直在搞mongodb 文件服务器大量文件并发上传测试,在官方文档发现mongo是线程安全的,支持单一连接下的并发操作。印象ADO.NET 似乎不支持单一连接并发。于是,测试一下来证实这个疑虑。(前两篇小记一直纠结mongodb吃内存导致并发文件上传变慢问题,经过这两天测试,发现文件并发上传越来越慢的瓶颈是磁盘的IO读写的瓶颈)以10W条/20W条 记录写入测试,下面是测试结果 操作10W w/s20W w/s操作方式备注179.958163.396主线程 有池 单连接 单打开单打开指的一次open close 内执行所有写入操作279.958164.412主线程 有池 单连接 ... 阅读全文

posted @ 2011-10-18 23:26 小城岁月 阅读(12204) 评论(7) 推荐(7) 编辑

2011年10月17日

mongodb 服务器内存控制(WSRM)

摘要: 由于碰到过mongodb吃掉所有闲置内存的情况,导致服务器操作越来越慢。虽然对mongodb的读操作没有太多影响,但是此时写入的性能却极剧下降(怀疑内存不够引起的)。由于要收集大量的历史文件数据,每次多线程收集到一定的程度时,写入文件速度越来越慢,经过多次测试发现,均与服务内存的使用峰值有关。当服务器内存使用率较低时,多线程写入较快,当服务器内存被mongodb 映射耗尽时,多线程写入速度慢到惨不忍赌了,即使是单线程情况这种情况表现也很明显。虽然mongodb提供了runCommnad({closeAllDatabase:1})或关闭数据库释放缓存,但是这却影响到了正常读写操作。因此给服务器预 阅读全文

posted @ 2011-10-17 11:12 小城岁月 阅读(3807) 评论(2) 推荐(1) 编辑

2011年10月16日

Quartz.Net 调度框架配置介绍

摘要: 在平时的工作中,估计大多数都做过轮询调度的任务,比如定时轮询数据库同步,定时邮件通知等等。大家通过windows计划任务,windows服务等都实现过此类任务,甚至实现过自己的配置定制化的框架。那今天就来介绍个开源的调度框架Quartz.Net(主要介绍配置的实现,因为有朋友问过此类问题)。调度的实现代码很简单,在源码中有大量Demo,这里就略过了。Quartz.Net当前最新版本 Quartz.NET 2.0 beta 1 Released一 基于文件配置先看一下简单的实现代码View Code using System;using System.Collections.Generic;u. 阅读全文

posted @ 2011-10-16 22:18 小城岁月 阅读(27586) 评论(16) 推荐(22) 编辑

2011年10月11日

mongodb 64位服务器安装小记

摘要: 今天试着在64位服务器上使用mongodb数据库,服务器硬盘磁盘阵列由10块140G硬盘构成,由于考虑采用Master/Salve机制备份这样就可以充份利用硬盘,所以采用了RAID5阵列。但是64位系统安装mongodb后,local数据库会直接用掉了70G。好浪费啊,赶紧查原因,发现mongodb在64位默认使用5%空间做为日志存储。经过测试发现不采用Master/Salve机制,则不会有这种问题,32位系统下也不会有这种问题。由于mongodb可以循环利用日志空间,加上是做文件器,最后把oplogsize 先定到10G 测试一下了。之前的32位服务器上mongodb收1G物理文件,会用掉. 阅读全文

posted @ 2011-10-11 21:19 小城岁月 阅读(1778) 评论(0) 推荐(2) 编辑

2011年9月30日

.NET MVC权限设计思考之切入点

摘要: .NET MVC权限设计思考之切入点 在WebForm下我们一般会设计个PageBase继承Page,在OnInit方法中实现对基本权限的验证业务,然后所有的页面在继承PageBase直接继承这项基本权验证业务。而在.NET MVC下我们如何再实现这个业务呢?其实无非也是要设计一个ExtController基类来实现这个业务,而这个ExtController基类的权限验证业务切入点选在哪里合适呢?... 阅读全文

posted @ 2011-09-30 00:03 小城岁月 阅读(12962) 评论(40) 推荐(17) 编辑

2011年7月25日

第六节 MongoDB 状态监控、备份复制及自动分片

摘要: 如果MongoDB仅仅是一个文档型的数据库,那就没有什么亮点了,然而MongoDB最大优点在于读扩展,热备份,故障恢复以及自动分片(写扩展)。这节系列结束篇就把这些功能介绍一下。备份复制实现了数据库备份的同时,实现了读写分离,又实现了读操作的负载均衡,即一台主写服务器,多台从属备份和读服务器,并且支持备份和读的集群扩展。其中Replica Sets方式又支持故障切换,当主服务器down掉后会投票选出一台从服务器接替为主服务器实现写操作。而自动分片功能会将原先的集合(表),自动分片到其它服务器上,实现分布式存储,即缓解单表数据量过大,同时又实现写操作的负载均衡。状态监控Http Consolem 阅读全文

posted @ 2011-07-25 23:54 小城岁月 阅读(20135) 评论(10) 推荐(8) 编辑

2011年7月20日

项目铺垫系列导航目录

摘要: 整理了最近的学习笔记,之所以写这些,就是想结合这些技术实现一个完整的项目。之后时间会结合JQuery+MVC+Entity FrameWork+Memcached+MongoDB 等技术写个项目应用系列。MVC原理分析通过.net reflector了解asp.net站点的请求与响应过程了解.net MVC的实现原理Controller/Action了解.net mvc实现原理ActionResu... 阅读全文

posted @ 2011-07-20 22:26 小城岁月 阅读(6806) 评论(19) 推荐(22) 编辑

2011年7月17日

Entity Framework之深入分析

摘要: EF虽然是一个晚生畸形的ORM框架,但功能强大又具有灵活性的,给了开发人员一定的发挥空间。因为微软出发点总是好的,让开发变得简单,但实际上不是所有的事情都这么理想。这里顺便推荐马丁大叔的书《企业应架构模式》。本节主要深入分析EF的分层问题,下面是本节的已列出的要探讨内容。领域模型的概念DbContext与Unit of Work 的概念DbContext 创建实例及线程安全问题不要随便using或... 阅读全文

posted @ 2011-07-17 22:24 小城岁月 阅读(50240) 评论(55) 推荐(38) 编辑

导航

面朝大海,春暖花开!