摘要: ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于Restful web接口。ElasticSearch是用java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可 阅读全文
posted @ 2019-08-18 02:12 雷雨客 阅读(345) 评论(0) 推荐(0)
摘要: curl www.baidu.com 访问一个网页 curl -o tt.html www.baidu.com 将访问www.baidu.com返回的内容写入tt.html curl -i www.baidu.com 显示响应的头信息 curl -v www.baidu.com 显示一次http请求 阅读全文
posted @ 2019-08-18 02:12 雷雨客 阅读(9404) 评论(2) 推荐(1)
摘要: mapReduce 的优势在于分布式,这一节记录一个分布式统计的示例,整个过程分为这几步:启动分布式服务、手动分片、导入数据、执行 mapReduce。下面单独说说这几步。 1、启动分布式服务 参考前面的第10节和第11节,不在重复说了。 2、手动分片: sh.enableSharding('tes 阅读全文
posted @ 2019-08-11 21:49 雷雨客 阅读(336) 评论(0) 推荐(0)
摘要: mapReduce从功能上说类似于RDBMS中的group,它的强大之处在于很好的支持分布式。相比于group、aggregate,mapReduce的用法很简单,其实它的工作原理也很简单,下面介绍一下。 mapReduce工作分为两步,一是映射,即map,将数据按照某一个规则映射到一个数组里,比如 阅读全文
posted @ 2019-08-10 23:32 雷雨客 阅读(534) 评论(0) 推荐(0)
摘要: 与group相比,aggregate内置了很多方法,常用的如下: $match 相当于关系型数据库中的where $group 相当于关系型数据库中的group by $project 相当于关系型数据库中的select $sort 相当于关系型数据库中的order by $limit 相当于关系型 阅读全文
posted @ 2019-08-10 16:40 雷雨客 阅读(253) 评论(0) 推荐(0)
摘要: mongodb有3个方法实现数据的分析与统计,分别是group分组统计、aggregate简单聚合、mapReduce强大统计。group 函数需要自己实现逻辑,所以它很灵活,但是有一个缺点就是不支持分片,不支持数据的分布式运算,在下面的章节中再分析支持share分片的方法。下面先说一下 group 阅读全文
posted @ 2019-08-10 11:52 雷雨客 阅读(958) 评论(0) 推荐(0)
摘要: replcation 复制集保证了每个节点中的数据都是一样的,将相同的数据备份到不同的节点,shard 分片是按照某种规则将不同数据写到不同的节点中。replcation与shard结合使用只需将复制集添加到 shard 中就可以了,每一个复制集看做一个整体,当成一个节点对待,如图所示: 一般来说如 阅读全文
posted @ 2019-08-04 23:53 雷雨客 阅读(388) 评论(0) 推荐(0)
摘要: 上一篇讲到了 mongodb 的 自动分片,自动分片遇到一个问题,就是 chunk 在不同服务器之间来回移动,增加了服务器的 IO,为了解决这个问题可以采用手动提前分片。顾名思义,手动分片就是在 mongodb 分片应用搭建好的时候就提前规定好每个片有多少 chunk ,什么数据分配到哪个 chun 阅读全文
posted @ 2019-08-04 19:43 雷雨客 阅读(661) 评论(0) 推荐(0)
摘要: share分片就是将不同数据放在不同节点里。与复制集相比稍微复杂。它除了存储数据的节点外还有一个路由节点 mongos,一个中心配置节点 configsvr,configsvr 不存储数据,存储meta信息,即某条数据在哪个片上的信息。mongos 查询数据时先要找 configsvr ,询问该数据 阅读全文
posted @ 2019-08-04 15:41 雷雨客 阅读(401) 评论(0) 推荐(0)
摘要: mongodb 通过一主一从、一主多从可以实现数据库备份,读写分离。为了便于查找现将实现过程记录下来。这里总共有3个节点 1、在 mongodb 目录下新建3个配置文件,作为启动3个节点的参数,文件及内容如下: mongodb1.conf mongodb2.conf mongodb3.conf 2、 阅读全文
posted @ 2019-08-03 17:05 雷雨客 阅读(691) 评论(0) 推荐(0)