es实战基础教程

docker es

1、docker拉取镜像，并启动

 启动成功如下图：

2、Kibana使用docker启动

# 临时启动
docker run --name kibana -d -p 5601:5601 kibana:7.12.1

# 宿主机 创建一个 用于存储kibana config文件夹
mkdir -p kibana

# docker cp 拷贝 kibana/config 到 宿主机对于的配置文件夹
docker cp kibana:/usr/share/kibana/config /Users/mmm/kibana


vim kibana.yml (文件中的esIP一定要写成宿主机IP，localhost不行)


docker run \
--name kibana \
--privileged=true \
-p 5601:5601 \
-v /Users/mmm/kibana/config:/usr/share/kibana/config \
-d kibana:7.12.1

启动成功如下图所示：

 

3、Elasticsearch使用

在 Elasticsearch（ES）中，索引的属性类型（properties type）可以根据需要定义为以下几种类型：

• Text（文本类型）：用于全文搜索的长文本字段
• Keyword（关键字类型）：用于精确匹配和聚合的短文本字段
• Numeric（数值类型）：包括整数、浮点数和双精度浮点数等数值类型
• Date（日期类型）：用于表示日期和时间的字段
• Boolean（布尔类型）：表示 true 或 false 的字段
• Binary（二进制类型）：用于存储二进制数据的字段
• Range（范围类型）：表示一定范围内的数值或日期
• Object（对象类型）：用于嵌套其他字段的复杂类型
• Nested（嵌套类型）：类似对象类型，但可以独索引和查询
• GeoPoint（理坐标类型）：用于表示经纬度坐标的字段
• GeoShape（地理形状类型）：用于表示地理区域的字段
• IP（IP 地址类型）：用于表示 IPv4 或 IPv6 地址的字段。

4、hive外表关联es

add jar hdfs://mycluster/user/hive/warehouse/bin/elasticsearch7hive/elasticsearch-hadoop-hive-7.10.0.jar;
add jar hdfs://mycluster/user/hive/warehouse/bin/httpclient/commons-httpclient-3.1.jar;

insert overwrite table tmp.es_ads_metadata_table_detail
select id, db_id, db_location_uri, db_name
from ads.ads_metadata_table_detail;

　　这部分代码的数据源是Hive中的ads.ads_metadata_table_detail表，而数据的目的地是一个在Hive中定义的外部表tmp.es_ads_metadata_table_detail，这个外部表是通过Elasticsearch-Hadoop插件与Elasticsearch关联的。因此，这段代码将从Hive表中选择的数据写入到与Elasticsearch关联的外部表中，而插件会将这些数据传输并写入到Elasticsearch索引中。