随笔分类 - 02.MongoDb,MongoDb Shared
大数据,分布式，云储存
摘要：一般人们分析问题，总是从问题现象，原因分析，解决方案这样的思路来分析思考问题，我想对这个数据库的水平拆分也按这样的思路来简单剖析一下。 先从问题现象入手，随着数据库表中数据日积月累越来越多，当表记录数达到千万甚至亿级别时，数据库表的访问效率下降明显，导致外层应用的访问效率非常差，访问时间急剧上升...
阅读全文
摘要：摘要：对比传统关系型数据库，NoSQL有着更为复杂的分类——键值、面向文档、列存储以及图数据库。这里就带你一览NoSQL各种类型的适用场景及一些知名公司的方案选择。在过去几年，关系型数据库一直是数据持久化的唯一选择，数据工作者考虑的也只是在这些传统数据库中做筛选，比如SQL Server、Oracl...
阅读全文
摘要：从mongodb 阶段性技术总结中抽取并整理了对大家有帮助的十个要点：1.mongodb 表名和字段名统一用小写字母mongodb 是默认区分大小写的，为了避免以前在 mysql 下遇到的大小写敏感导致程序访问频频出错，建立规范，mongodb 的表名和字段名都用小写字母命名。2.尽可能的缩短字段名...
阅读全文
摘要：与关系型数据库相比，MongoDB的优点：①弱一致性（最终一致），更能保证用户的访问速度：举例来说，在传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的精确值。这在某些情况下，例如通过ATM查看账户信息的时候很重要，但对于Wordnik来说，数据是不断更新和...
阅读全文
摘要：从以下几个维度，对redis、memcache、mongoDB做了对比，欢迎拍砖1、性能都比较高，性能对我们来说应该都不是瓶颈总体来讲，TPS方面redis和memcache差不多，要大于mongodb2、操作的便利性 memcache数据结构单一 redis丰富一些，数据操作方面，redis更好一...
阅读全文
摘要：MongoDB 今天宣布3.0 正式版本即将发布。这标志着 MongoDB 数据库进入了一个全新的发展阶段，提供强大、灵活而且易于管理的数据库管理系统。 MongoDB 3.0 在性能和伸缩性方面都有非常巨大的提升，通过在存储层的大幅改进实现。内建 WiredTiger 存储引擎，这是一项难以置信...
阅读全文
摘要：如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题：最佳部署实践是什么？为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标？如何能够确定添加分片的时机？有哪些工具可以对数据库进行备份和恢复？怎样才能安全地访问所...
阅读全文
摘要：java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space---------------------------------------------------------这里以tomca...
阅读全文
摘要：MongoDB的扩展能力可以满足你业务需求的增长——这也是为什么它的名字来源于单词humongous（极大的）的原因。当然，这并不是说你在 使用MongoDB的路上并不会碰到一些发展的痛点。Crittercism是一家专门为手机应用程序提供技术支持的初创公司，该公司在过去两年间发展迅 猛，其运营总监...
阅读全文
摘要：大部分融资都要耗时数月，但非关系式数据库MongoDB仅用3周时间就完成了1.5亿美元的融资。为什么这个进程会这么快，MongoDB CEO Max Schireson在接受采访时说，这是因为投资者看到了200亿美元规模的“操作型数据库（operational databases）”的重大机遇。Schireson说，作为数据库市场的一部分，操作型数据库市场的演进很慢（MongoDB占据了70%的市场份额）。所以，“改变的需求更甚。”几乎每一家公司都要用到操作型数据库，至少那些提供或使用某些应用的公司如此。这些数据库是应用用来存储然后获取一切信息（如销售机会、媒体文件、个人文档等）的集中场所。.
阅读全文
摘要：受棱镜门影响，各界对Aadhar的质疑从是否将威胁人民隐私与安全，转而聚焦在 Aadhar 搜集、储存以及处理资料的方法，以及美国新创公司 MongoDB 在计划中扮演的角色。泱泱大国印度一直以来都无法顺利完全登录其国内人口的资料，但 Aadhar 计划带来曙光：印度的唯一身分识别计划（Unique Identification Project）又称为 Aadhar 计划。该计划近来所累计的人口数据与生物数据超过 5 亿人，成为世界上同类型的生物识别数据库中最大者。Aadhar 成立几年以来，持续在批评声浪中前进。各界质疑其是否将威胁人民隐私与安全，而近来批评火力则聚焦在 Aadhar 搜集、
阅读全文
摘要：由于众所周知的原因, 邪恶的企业优酷于九月的某一天开始禁止第三方播放器加载视频API, 我不得不设置一个反向代理来绕过Flash 的跨域限制. 自此服务器压力激增, 导致用户体验大为劣化. 为了减少服务器压力我费尽心思, 从原先的Apache2 + php 切换到nginx + php-fpm, 再到现在的nginx + nodejs, 充分利用了服务器有限的内存空间, 使并发性能得以不断优化, 每次播放的请求时间由原来的10s 缩短到 1~4s.但这也到头了, 非缓存型反向代理受限于网络连接速率, 如果反向代理服务器与优酷服务器之间的传输速率不能有所突破, 很难把请求时间继续缩短. 如果要追
阅读全文
摘要：上一篇： MongoDb企业应用实战(一) 写在MongoDB应用介绍之前(i) 有段时间没跟大家去分享和探讨过一些问题，分享过一些经验了(失败过的，痛苦过的才最有看点啊，不知道各位同仁们怎么去看这个问题?)。接着跟大家唠叨唠叨。且说6年前，那段千万数据级别刻骨铭心的经历，让我真正意识到一个好的产品或者是一个好的软件系统是需要不断的提炼，优化，改进，检验，再改进。这才能够一举奠定它在市场中的地位和价值(6年前，与其说那是项目，到不如说是一个完整的自动识别行业的解决方案。(i)高速传送带,(ii)高速成组扫描设备,(iii)条形码打印机,(iv)自动剔除气缸,(v)手持终端[PDA],(vi).
阅读全文
摘要：在企业数据库设计中，经常会遇到一个需求，就是希望把操作之前的数据保留下来，能够看到操作之前是什么数据，操作之后是什么数据。对于这种需求，我们可以使用保留历史数据或者使用版本来实现。为了能够保留历史数据，在版本设计时有以下方案：一、使用版本号版本号是一种常见的版本设计方案，就是在要进行历史数据保留的表上面增加一个版本号字段，该字段可以是DateTime类型，也可以是int类型，每进行数据操作时，都是创建一个新的版本，版本是只增不减的，所以只需要拿到最大一个版本号，就能得到最新的业务数据。版 本号除了能够用于留存历史数据外，还有一个功能就是避免并发编辑操作。比如我们有一个对象A，当前的版本是1，两
阅读全文
摘要：Amoeba for MySQLAmoeba for MySQL致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当query 路由功能，专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。 在Amoeba上面你能够完成多数据源的高可用、负载均衡、数据切片的功能。目前在很多企业的生产线上面使用。那么Amoeba for mysql 对客户端程序来说是什么呢？ 我们就当它是mysql吧，它是一个虚...
阅读全文
摘要：故事背景： 本人有幸,经老友( 现为x知名快递公司技术总监 ) 推荐进入中国前三大民营快递公司之一工作，在此非常感谢他,在此也非常感谢我在第一家公司帮助我进步的兄弟(我在时的项目经理，现为 x 知名自动识别行业企业部门高级经理)。下面介绍6年后和6年前的我的职业生涯中的两个单表大数据故事。(1) 6年后 单表大数据 之故事（一） 来之前老友告之现在核心运营系统 Oracle数据库中单表数据半年过10亿了，使用传统T-Sql不论如何优化，查询客户信息速度也提升不上去。需要使用企业级搜索引擎(Solr)来解决本部门其余两大辅助业务系统去查询客户信息。如果我过去的话，先把这块带肉的骨头啃了。当时一听
阅读全文