摘要: 本文只是想针对这些年在大数据圈子中经常出现的概念做一些总结和记录,纯属个人观点与认知。如果有理解错误的地方还请告知。 写作背景 工作中或者新闻中我们偶尔或者经常听说一些词汇,大数据 BI 数据仓库 数据湖 数据集市 数据中台 等,这些词汇到底是如何诞生的?每个词汇中又包含着什么样的内容?本文将重点总 阅读全文
posted @ 2020-11-03 14:37 亮剑-胜哥 阅读(1272) 评论(0) 推荐(0)
摘要: 当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ等,而部分数据库如Redis、MySQL以及phxsql也可实现消息队列的功能。 RabbitMQ RabbitMQ于2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的, 阅读全文
posted @ 2020-11-03 14:34 亮剑-胜哥 阅读(1208) 评论(0) 推荐(0)
摘要: Dockerfile详解 FROM 指定基础镜像,必须为第一个命令 格式: FROM <image> FROM <image>:<tag> FROM <image>@<digest> 示例: FROM mysql:5.6 注: tag或digest是可选的,如果不使用这两个值时,会使用latest版 阅读全文
posted @ 2020-11-03 14:26 亮剑-胜哥 阅读(128) 评论(0) 推荐(0)
摘要: 常见的ELasticSearch数据类型 数据类型 具体类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 date 阅读全文
posted @ 2020-11-03 14:23 亮剑-胜哥 阅读(2044) 评论(0) 推荐(0)
摘要: 简单说说关于elasticsearch各个大版本之间的区别 初始版本0.7 发布时间:2010.05.14 主要特性 Zen Discovery 自动发现模块 Groovy Client支持 简单的插件管理机制 更好支持ICU分词器 更多的管理API 1.0.0版本 发布时间:2014.02.14 阅读全文
posted @ 2020-11-03 14:22 亮剑-胜哥 阅读(6236) 评论(0) 推荐(2)
摘要: 以下我们在Centos7操作系统上以Elasticsearch5.4.3为例来进行一下安装 环境准备 Elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz Cereb 阅读全文
posted @ 2020-11-03 14:20 亮剑-胜哥 阅读(464) 评论(0) 推荐(0)
摘要: 加粗 部分为经常用到的 enabled 作用:仅存储、不做搜索和聚合分析 值:false|true index 作用:是否构建倒排索引(即是否分词,设置false,字段将不会被索引) 值:false|true index_option 作用:存储倒排索引的哪些信息 值:docs:索引文档号|freq 阅读全文
posted @ 2020-11-03 14:16 亮剑-胜哥 阅读(486) 评论(0) 推荐(0)
摘要: /** pom依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop</artifactId> <version>2.2.0-m1</version> </dependency> ** 阅读全文
posted @ 2020-11-03 11:49 亮剑-胜哥 阅读(616) 评论(0) 推荐(0)
摘要: sparkContext.hadoopFile(args(0),classOf[TextInputFormat], classOf[LongWritable], classOf[Text], 1) .map(p => new String(p._2.getBytes, 0, p._2.getLeng 阅读全文
posted @ 2020-11-03 11:48 亮剑-胜哥 阅读(168) 评论(0) 推荐(0)
摘要: package utils import java.net.{InetAddress, InetSocketAddress} import java.sql.{Connection, DriverManager, PreparedStatement} import java.util import 阅读全文
posted @ 2020-11-03 11:47 亮剑-胜哥 阅读(937) 评论(0) 推荐(0)