随笔分类 -  01.Solr,SolrCloud

企业级应用搜索引擎,千亿数据量级别企业级搜索架构
摘要:我之前写了ELK+shield的部署文档,由于shield是商业收费的,很多人都推崇开源项目search-guard来做ELK的安全组件,准确来说是elasticsearch的安全组件。search-guard的部署很简单,但是开始着手弄,完全不了解的情况下还是会踩一些坑,加上网上对新版本使用介绍少 阅读全文
posted @ 2017-06-13 10:18 海上浪子 阅读(2060) 评论(0) 推荐(0) 编辑
摘要:1、elasticsearch.yml # Cluster # # Use a descriptive name for your cluster: # cluster.name: zjf-test # # Node # # Use a descriptive name for the node: 阅读全文
posted @ 2017-06-08 09:41 海上浪子 阅读(1102) 评论(0) 推荐(0) 编辑
摘要:一、Search Guard 简介 Search Guard 是 Elasticsearch 的安全插件。它为后端系统(如LDAP或Kerberos)提供身份验证和授权,并向Elasticsearch添加审核日志记录和文档/字段级安全性。 Search Guard 所有基本安全功能都是免费的,并且内 阅读全文
posted @ 2017-06-06 11:00 海上浪子 阅读(1470) 评论(0) 推荐(0) 编辑
摘要:由于最近的一个项目中的搜索部分要用到 Elasticsearch 来实现搜索功能,苦于英文差及该方面的系统性资料不好找,在实现时碰到了不少问题,现把整个处理过程的代码分享下,给同样摸索的人一些借鉴,同时希望有经验的大牛发现有问题的地方不吝斧正! 查询入口 webapi 的部分代码,把查询条件封装到  阅读全文
posted @ 2016-11-03 23:53 海上浪子 阅读(429) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch.Net与NEST是Elasticsearch为C#提供的一套客户端驱动,方便C#调用Elasticsearch服务接口。Elasticsearch.Net是较基层的对Elasticsearch服务接口请求响应的实现,NEST是在前者基础之上进行的封装。本文是针对NEST的 阅读全文
posted @ 2016-11-03 23:51 海上浪子 阅读(1006) 评论(0) 推荐(0) 编辑
摘要:如果你已经完成了自己新的MongoDB应用程序的开发,并且现在正准备将它部署进产品中,那么你和你的运营团队需要讨论一些关键的问题:最佳部署实践是什么?为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标?如何能够确定添加分片的时机?有哪些工具可以对数据库进行备份和恢复?怎样才能安全地访问所... 阅读全文
posted @ 2015-02-04 10:11 海上浪子 阅读(160) 评论(0) 推荐(0) 编辑
摘要:摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的Matei Zaharia主导开发。我只能说是神一样的人物造就的神器,详情请猛击http://www.spark-project.org/ Created 2012-05-09 Modified 2012-0... 阅读全文
posted @ 2015-01-29 20:09 海上浪子 阅读(156) 评论(0) 推荐(0) 编辑
摘要:java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space---------------------------------------------------------这里以tomca... 阅读全文
posted @ 2014-12-30 15:26 海上浪子 阅读(773) 评论(0) 推荐(0) 编辑
摘要:Java内存溢出详解 一、常见的Java内存溢出有以下三种: 1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap(堆)溢出 JVM在启动的时候会自动设置JVM Heap的值,其初始空间(即-Xms)是物理内存的1/64,最大空间(-... 阅读全文
posted @ 2014-12-30 10:21 海上浪子 阅读(150) 评论(0) 推荐(0) 编辑
摘要:MongoDB的扩展能力可以满足你业务需求的增长——这也是为什么它的名字来源于单词humongous(极大的)的原因。当然,这并不是说你在 使用MongoDB的路上并不会碰到一些发展的痛点。Crittercism是一家专门为手机应用程序提供技术支持的初创公司,该公司在过去两年间发展迅 猛,其运营总监... 阅读全文
posted @ 2014-11-12 14:41 海上浪子 阅读(367) 评论(0) 推荐(0) 编辑
摘要:Github“Github使用Elasticsearch搜索20TB的数据,包括13亿的文件和1300亿行的代码” 这个不用介绍了吧,码农们都懂的,Github在2013年1月升级了他们的代码搜索,由solr转为elasticsearch,目前集群规模为26个索引存储节点和8个客户端节点(负责处理搜... 阅读全文
posted @ 2014-08-25 08:52 海上浪子 阅读(494) 评论(0) 推荐(0) 编辑
摘要:故事背景: 本人有幸,经老友( 现为x知名快递公司技术总监 ) 推荐进入中国前三大民营快递公司之一工作,在此非常感谢他,在此也非常感谢我在第一家公司帮助我进步的兄弟(我在时的项目经理,现为 x 知名自动识别行业企业部门高级经理)。下面介绍6年后和6年前的我的职业生涯中的两个单表大数据故事。(1) 6年后 单表大数据 之故事(一) 来之前老友告之现在核心运营系统 Oracle数据库中单表数据半年过10亿了,使用传统T-Sql不论如何优化,查询客户信息速度也提升不上去。需要使用企业级搜索引擎(Solr)来解决本部门其余两大辅助业务系统去查询客户信息。如果我过去的话,先把这块带肉的骨头啃了。当时一听 阅读全文
posted @ 2013-11-28 17:36 海上浪子 阅读(2842) 评论(35) 推荐(9) 编辑