摘要:最近我在 Github 上查找一个可以快速开发 excel 导入导出工具,偶然发现由阿里开发 easyexcel 开源项目,尝试使用后感觉这款工具挺不错的,下面分享一下我的 easyexcel 案例使用。 1、easyexcel 简介 一般在项目可能会涉及到 Excel 导入和导出,通常我们都是使用 阅读全文
posted @ 2019-11-01 14:39 隐峯 阅读 (147) 评论 (6) 编辑
摘要:本篇文章对 Elasticsearch 做了基本介绍,在后续将通过专栏的方式持续更新,本系列以 Elasticsearch7 作为主要的讲解版本,欢迎各位大佬指正,共同学习进步! 一般涉及大型数据库的电子商务和搜索引擎的产品都面临这样一个问题,产品信息检索花费时间太长。这不良的用户体验,可能导致失去 阅读全文
posted @ 2019-10-11 09:24 隐峯 阅读 (382) 评论 (0) 编辑
摘要:现代商业市场是一个数据驱动的环境,可以说不论技术怎么更新换代,数据都有着不可替代的地位,而且抛开数据谈大数据就是瞎扯,没有数据作支撑的大数据平台就是一个空壳。无论是公司内部的数据还是外部的数据都可以构成我们大数据平台的来源数据,大数据平台的数据来源主要有数据库、日志、前端埋点、爬虫。 1 从数据库导 阅读全文
posted @ 2019-04-08 21:57 隐峯 阅读 (305) 评论 (0) 编辑
摘要:迄今,相信大家肯定听说过 HBase,但是对于 HBase 的了解可能仅仅是它是 Hadoop 生态圈重要的一员,是一个大数据相关的数据库技术。 今天我带你们一起领略一下 HBase 体系架构,看看它是如何大规模处理海量数据。 一、什么是 HBase? 关于 HBase 的实现,是基本遵循 Bigt 阅读全文
posted @ 2019-01-19 20:02 隐峯 阅读 (435) 评论 (0) 编辑
摘要:SQL语言相信大家都不陌生,从本质上来说,它是一种结构化查询语言,是用来数据库之间的通信的编程语言。 作为一名Java程序员,我们从Java角度来看,SQL语言相当于Java接口,而数据库是实现这个接口的实现类,SQL语句则是实现类的方法!!。 从这里我们就可以理解了,每个数据库都有着自己独特的规则 阅读全文
posted @ 2018-12-26 09:12 隐峯 阅读 (1374) 评论 (4) 编辑
摘要:本节主要讲解 Elasticsearch 的 搜索相关功能 Search API,讲解什么是 URL Search 和 Request Body Search 的语法,对常用的语法都会一一进行详细介绍。 1.Search API Search API 分为两大类一个是 URL Search 和 Re 阅读全文
posted @ 2019-12-12 17:58 隐峯 阅读 (176) 评论 (0) 编辑
摘要:上一篇,什么是倒排索引以及原理是什么。本篇讲解 Analyzer,了解 Analyzer 是什么 ,分词器是什么,以及 Elasticsearch 内置的分词器,最后再讲解中文分词是怎么做的。 一、Analysis 与 Analyzer Analysis 文本分析是把全文本转换一系列单词(term/ 阅读全文
posted @ 2019-11-28 16:52 隐峯 阅读 (206) 评论 (0) 编辑
摘要:上一篇,我们介绍了 ES 文档的基本 CURE 和批量操作。我们都知道倒排索引是搜索引擎非常重要的一种数据结构,什么是倒排索引,倒排索引的原理是什么。 1 索引过程 在讲解倒排索引前,我们先了解索引创建,下图是 Elasticsearch 中数据索引过程的流程。 从上图可以看到,文档未在 ES 中进 阅读全文
posted @ 2019-11-20 17:10 隐峯 阅读 (260) 评论 (0) 编辑
摘要:上一篇,我们介绍了什么是 Elasticsearch,它能做什么用以及基本概念(索引 Index、文档 Document、类型 Type)理解。这篇主要对 文档的基本 CRUD 以及如何批量操作进行讲解。下面让我们进入正题。 一、文档的 CRUE Create 文档 支持自动生成文档 Id 和指定文 阅读全文
posted @ 2019-11-14 17:19 隐峯 阅读 (73) 评论 (0) 编辑
摘要:最近我在 Github 上查找一个可以快速开发 excel 导入导出工具,偶然发现由阿里开发 easyexcel 开源项目,尝试使用后感觉这款工具挺不错的,下面分享一下我的 easyexcel 案例使用。 1、easyexcel 简介 一般在项目可能会涉及到 Excel 导入和导出,通常我们都是使用 阅读全文
posted @ 2019-11-01 14:39 隐峯 阅读 (147) 评论 (6) 编辑
摘要:本篇文章对 Elasticsearch 做了基本介绍,在后续将通过专栏的方式持续更新,本系列以 Elasticsearch7 作为主要的讲解版本,欢迎各位大佬指正,共同学习进步! 一般涉及大型数据库的电子商务和搜索引擎的产品都面临这样一个问题,产品信息检索花费时间太长。这不良的用户体验,可能导致失去 阅读全文
posted @ 2019-10-11 09:24 隐峯 阅读 (382) 评论 (0) 编辑
摘要:Redis 经常用于系统中的缓存,可以极大地提高了系统性能和效率,但同时也带来一些问题。一个是数据一致性问题。从严格意义上讲,只要使用缓存,就会出现一致性问题,这是无法解决的。另一个问题是本文将讨论的缓存穿透,缓存击穿和缓存雪崩,这三个问题不仅限于 Redis,其他缓存工具同样需要面对这三个问题。接 阅读全文
posted @ 2019-08-10 14:13 隐峯 阅读 (74) 评论 (0) 编辑
摘要:现在大多数开发人员都会听说过 Redis。Redis 是目前市场上最好的开源内存 NoSQL 数据库之一。它为前端以及后端服务(如键值查找,队列,哈希等)提供了非常多的帮助。 一、什么是 Redis? 根据 Redis 官方介绍,Redis 是一个开源(BSD许可),内存数据结构存储,用作数据库,缓 阅读全文
posted @ 2019-05-30 17:52 隐峯 阅读 (175) 评论 (1) 编辑
摘要:现代商业市场是一个数据驱动的环境,可以说不论技术怎么更新换代,数据都有着不可替代的地位,而且抛开数据谈大数据就是瞎扯,没有数据作支撑的大数据平台就是一个空壳。无论是公司内部的数据还是外部的数据都可以构成我们大数据平台的来源数据,大数据平台的数据来源主要有数据库、日志、前端埋点、爬虫。 1 从数据库导 阅读全文
posted @ 2019-04-08 21:57 隐峯 阅读 (305) 评论 (0) 编辑
摘要:数据同步,顾名思义就是不同系统的数据进行同步处理。而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive、Hbase、MySQL、Oracle 等各种各样的不同数据库,然而要把数据同步到指定不同类型的存储库是非常麻烦。那该如何统一实现数据源同 阅读全文
posted @ 2019-03-30 19:06 隐峯 阅读 (84) 评论 (0) 编辑