1

ElasticStack学习(八):ElasticSearch索引模板与聚合分析初探

一、Index Template与Dynamic Template的概念 1、Index Template:它是用来根据提前设定的Mappings和Settings,并按照一定的规则,自动匹配到新创建的索引上。 1)模板仅是一个索引被创建时才会起作用,修改模板并不会影响已创建的索引; 2)可以设定多 ...

SuperSnowYao 发布于 2019-07-17 09:00 评论(2)阅读(87)
1

ElasticStack学习(七):ElasticSearch之Mapping初探

一、Mapping的概念 1、Mapping类似于数据库中的Schema的定义,作用如下: 1)定义索引中的字段的名称; 2)定义字段的数据类型,例如字符串、数字、日期、布尔等; 3)对每个字段进行倒排索引的建立及相关配置; 4)Mapping会将Json文档映射成Lucene所需要的扁平格式; 5 ...

SuperSnowYao 发布于 2019-07-16 12:41 评论(6)阅读(294)
0

eclipse scala Could not reserve enough space for object heap

eclipse scala Could not reserve enough space for object heap ...

海中一神兽 发布于 2019-07-16 11:23 评论(0)阅读(4)
0

最新大数据学习路线

最近很多人问小编现在学习大数据这么多,他们都是如何学习的呢。很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门? 应该学习哪些技术? 学习路线又是什么? 今天特意为大家整理了一份大数据从入门到精通的学习路线。并且附带学习资料和视频。希望能够帮助到大家。 第一阶段:Linux理 ...

大数据资料更新 发布于 2019-07-15 10:12 评论(0)阅读(46)
0

有关带scala版本的eclipse4.7的下载

有关带scala版本的eclipse4.7的下载, 你可以直接去: http://scala-ide.org/download/sdk.html​下载下来后是:scala-SDK-4.7.0-vfinal-2.12-win32.win32.x86_64.zip,解压,展开。其实就是一个带着scala ...

海中一神兽 发布于 2019-07-14 16:32 评论(0)阅读(9)
0

Windows Eclipse Scala的入门HelloWorld

Windows Eclipse Scala的入门HelloWorld ...

海中一神兽 发布于 2019-07-14 16:12 评论(0)阅读(10)
0

centos 7 cloudera-manager5.16.2,CDH5.16.2安装升级spark2.4.0

1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本 (1).下载java包到/usr/local目录解压 (2).添加java环境到/... ...

马达加斯加的老腊肉 发布于 2019-07-12 17:12 评论(0)阅读(29)
0

DStream转为DF的两种方式(突破map时元组22的限制)

在进行Spark Streaming的开发时,我们常常需要将DStream转为DataFrame来进行进一步的处理, 共有两种方式,方式一: 利用map算子和tuple来完成,一般的场景下采用这种方式即可。 但是有的时候我们会遇到列数大于22的情况,这个时候会受到scala的tuple数不能超过22 ...

icecola 发布于 2019-07-12 16:01 评论(0)阅读(21)
0

使用Docker搭建Elasticsearch集群环境

本篇文章首发于头条号 "单机如何搭建Elasticsearch集群?使用容器技术快速构建集群环境" ,欢迎关注 "头条号" 和微信公众号“大数据技术和人工智能”(微信搜索bigdata_ai_tech)获取更多干货,也欢迎关注 "CSDN博客" 。 在之前的文章里分别介绍过 "Elasticsear ...

chaojianok 发布于 2019-07-12 13:15 评论(0)阅读(23)
2

ElasticStack学习(五):了解ElasticSearch索引与分词

一、正排索引与倒排索引 1、什么是正排索引呢? 以一本书为例,一般在书的开始都会有书的目录,目录里面列举了一本书有哪些章节,大概有哪些内容,以及所对应的页码数。这样,我们在查找一些内容时,就可以通过目录来定位到这些内容大概在哪页。因此,书的目录就可以称之为正排索引(目录页)。 2、什么时倒排索引呢? ...

SuperSnowYao 发布于 2019-07-12 10:53 评论(0)阅读(227)
0

大数据第一讲

第一讲:大数据基础入门 第一节:为什么要学习大数据 1、目的:很好工作 2、对比:Java开发和大数据开发 第二节:什么是大数据? 举例: 1、商品推荐: 问题:(1)大量的订单如何存储? (2)大量的订单如何计算? 2、天气预报: 问题:(1)大量的天气数据如何存储?(2)大量的天气数据如何计算? ...

苗苗姨的小狼狗 发布于 2019-07-12 10:32 评论(0)阅读(42)
0

supervisor配置kibana

在/etc/supervisor/conf.d/目录下添加kibana.conf [program:kibana]command=/opt/kibana-6.8.1-linux-x86_64/bin/kibanadirectory=/opt/kibana-6.8.1-linux-x86_64/bin ...

RickLee 发布于 2019-07-11 22:07 评论(0)阅读(9)
0

supervisor 启动ElasticSearch报错问题

当elastic遇到supervisor ERROR: [2] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [6... ...

RickLee 发布于 2019-07-11 21:26 评论(0)阅读(21)
0

Redis学习笔记一

Redis知识点小结一 概念: 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 内存数据库,用于做缓存。可做分布式锁,提供多种数据类型支持不同业务场景。支持事务、持久化、LUA脚本、LRU驱动事件。 高性能和高并发 高性能:第一 ...

我的单车时尚时尚最时尚 发布于 2019-07-11 19:43 评论(0)阅读(33)
0

Windows32位或64位下载安装配置Scala

[学习笔记] Windows 32位或64位下载安装配置Scala:1)下载地址:http://www.scala-lang.org/download/,看我的spark那节,要求scala是2.11以上,我就下载:scala-2.11.8.msi。2)安装:双击scala-2.11.8.msi安装 ...

海中一神兽 发布于 2019-07-11 17:40 评论(0)阅读(11)
1

ElasticStack学习(四):ElasticSearch文档的CRUD使用

一、文档的CRUD介绍 ElasticSearch中存在五种操作,分别如下: 1、Index 该操作表示:如果文档的ID不存在,则创建新的文档。若有相同的ID,先删除现有文档,然后再创建新的文档,同时版本会增加。 语法格式如下: 其中,index_name【索引名称】,_doc【Type名称,约定都 ...

SuperSnowYao 发布于 2019-07-11 10:05 评论(0)阅读(244)
0

1. 大数据集群环境准备

1、三台虚拟机关闭防火墙 三台机器执行以下命令(root用户来执行) service iptables stop chkconfig iptables off 2、三台机器关闭selinux vim /etc/selinux/config 3、三台机器更改主机名 vim /etc/sysconfig ...

elevenapple 发布于 2019-07-10 13:53 评论(0)阅读(55)
0

Java简单介绍运行机制

1. 基础知识点图解 编程语言核心结构:变量、基本语法、分支、循环、数组、…… Java面向对象的核心逻辑:OOP、封装、继承、多态、接口…… 开发Java SE高级应用程序:异常、集合、I/O、多线程、反射机制、网络编程…… 2. 各种语言对比 3. Java诞生 Sun公司(斯坦福大学网络,不是 ...

猫不夜行 发布于 2019-07-09 21:42 评论(0)阅读(28)
1

ElasticStack学习(三):ElasticSearch基本概念

1、文档 1)ElasticSearch是面向文档的,文档是所有可搜索数据的最小单位。例如: a)日志文件中的日志项; b)一张唱片的详细信息; c)一篇文章中的具体内容; 2)在ElasticSearch中,文档会被序列化成Json格式: a)Json对象是由字段组成的; b)每个字段都有对应的字 ...

SuperSnowYao 发布于 2019-07-09 12:48 评论(1)阅读(372)
1

kettle —— 从 oracle 到 oracle的坑

公司有个项目,是使用kettle从oracle上统计,再将结果跟oracle中目标表进行对比更新。接手后,走了一些弯路,中间各种尝试都不尽如人意,也学了kettle的一些组件的用法。正好趁着机会记录 一下。 一、背景: 需求其实很简单,在源oracle中,有大批量的表,是使用定时调度从其他不同的数据 ...

haisongen 发布于 2019-07-09 10:00 评论(1)阅读(190)