ElasticStack学习（八）：ElasticSearch索引模板与聚合分析初探
一、Index Template与Dynamic Template的概念 1、Index Template：它是用来根据提前设定的Mappings和Settings，并按照一定的规则，自动匹配到新创建的索引上。 1）模板仅是一个索引被创建时才会起作用，修改模板并不会影响已创建的索引； 2）可以设定多 ...
ElasticStack学习（七）：ElasticSearch之Mapping初探
一、Mapping的概念 1、Mapping类似于数据库中的Schema的定义，作用如下： 1）定义索引中的字段的名称； 2）定义字段的数据类型，例如字符串、数字、日期、布尔等； 3）对每个字段进行倒排索引的建立及相关配置； 4）Mapping会将Json文档映射成Lucene所需要的扁平格式； 5 ...
eclipse scala Could not reserve enough space for object heap
eclipse scala Could not reserve enough space for object heap ...
有关带scala版本的eclipse4.7的下载
有关带scala版本的eclipse4.7的下载， 你可以直接去： http://scala-ide.org/download/sdk.html下载下来后是：scala-SDK-4.7.0-vfinal-2.12-win32.win32.x86_64.zip，解压，展开。其实就是一个带着scala ...
Windows Eclipse Scala的入门HelloWorld
Windows Eclipse Scala的入门HelloWorld ...
centos 7 cloudera-manager5.16.2,CDH5.16.2安装升级spark2.4.0
1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本 (1).下载java包到/usr/local目录解压 (2).添加java环境到/... ...
DStream转为DF的两种方式（突破map时元组22的限制）
在进行Spark Streaming的开发时，我们常常需要将DStream转为DataFrame来进行进一步的处理， 共有两种方式，方式一： 利用map算子和tuple来完成，一般的场景下采用这种方式即可。 但是有的时候我们会遇到列数大于22的情况，这个时候会受到scala的tuple数不能超过22 ...
使用Docker搭建Elasticsearch集群环境
本篇文章首发于头条号 "单机如何搭建Elasticsearch集群？使用容器技术快速构建集群环境" ，欢迎关注 "头条号" 和微信公众号“大数据技术和人工智能”（微信搜索bigdata_ai_tech）获取更多干货，也欢迎关注 "CSDN博客" 。 在之前的文章里分别介绍过 "Elasticsear ...
ElasticStack学习（五）：了解ElasticSearch索引与分词
一、正排索引与倒排索引 1、什么是正排索引呢？ 以一本书为例，一般在书的开始都会有书的目录，目录里面列举了一本书有哪些章节，大概有哪些内容，以及所对应的页码数。这样，我们在查找一些内容时，就可以通过目录来定位到这些内容大概在哪页。因此，书的目录就可以称之为正排索引（目录页）。 2、什么时倒排索引呢？ ...
supervisor配置kibana
在/etc/supervisor/conf.d/目录下添加kibana.conf [program:kibana]command=/opt/kibana-6.8.1-linux-x86_64/bin/kibanadirectory=/opt/kibana-6.8.1-linux-x86_64/bin ...
supervisor 启动ElasticSearch报错问题
当elastic遇到supervisor ERROR: [2] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [6... ...
Redis学习笔记一
Redis知识点小结一 概念： 内存数据库，用于做缓存。可做分布式锁，提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 内存数据库，用于做缓存。可做分布式锁，提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 高性能和高并发 高性能：第一 ...
Windows32位或64位下载安装配置Scala
[学习笔记] Windows 32位或64位下载安装配置Scala：1）下载地址：http://www.scala-lang.org/download/，看我的spark那节，要求scala是2.11以上，我就下载：scala-2.11.8.msi。2）安装：双击scala-2.11.8.msi安装 ...
ElasticStack学习（四）：ElasticSearch文档的CRUD使用
一、文档的CRUD介绍 ElasticSearch中存在五种操作，分别如下： 1、Index 该操作表示：如果文档的ID不存在，则创建新的文档。若有相同的ID，先删除现有文档，然后再创建新的文档，同时版本会增加。 语法格式如下： 其中，index_name【索引名称】，_doc【Type名称，约定都 ...
1. 大数据集群环境准备
1、三台虚拟机关闭防火墙 三台机器执行以下命令（root用户来执行） service iptables stop chkconfig iptables off 2、三台机器关闭selinux vim /etc/selinux/config 3、三台机器更改主机名 vim /etc/sysconfig ...
Java简单介绍运行机制
1. 基础知识点图解 编程语言核心结构：变量、基本语法、分支、循环、数组、…… Java面向对象的核心逻辑：OOP、封装、继承、多态、接口…… 开发Java SE高级应用程序：异常、集合、I/O、多线程、反射机制、网络编程…… 2. 各种语言对比 3. Java诞生 Sun公司（斯坦福大学网络，不是 ...
ElasticStack学习（三）：ElasticSearch基本概念
1、文档 1）ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位。例如： a）日志文件中的日志项； b）一张唱片的详细信息； c）一篇文章中的具体内容； 2）在ElasticSearch中，文档会被序列化成Json格式： a）Json对象是由字段组成的； b）每个字段都有对应的字 ...
kettle —— 从 oracle 到 oracle的坑
公司有个项目，是使用kettle从oracle上统计，再将结果跟oracle中目标表进行对比更新。接手后，走了一些弯路，中间各种尝试都不尽如人意，也学了kettle的一些组件的用法。正好趁着机会记录 一下。 一、背景： 需求其实很简单，在源oracle中，有大批量的表，是使用定时调度从其他不同的数据 ...
