随笔分类 -  大数据 / elasticsearch

Elasticsearch index fields 重命名
摘要：reindex数据复制，重索引 字段重命名 把flag重命名为tag 案例 描述 在数据录入时，字段yxdm和字段jwzydm数据位置错位了，现在需要将数据调换回来 方法 先复制数据索引到bak 删除原索引数据，并从bak索引重新录入到原索引 注意需要使用yxdm1作为中间变量存储交换的字段 参考 阅读全文
posted @ 2017-05-09 11:06 bigbigtree 阅读(8700) 评论(0) 推荐(0)
NoSuchMethodError: ... addOnCompleteCallback
摘要：问题描述： 使用ES 2.3.1和Spark streaming 2.1时，出现以上报错信息。 原因： addOnCompleteCallback方法在spark2.0中移除了 The addOnCompleteCallback method was removed from the TaskCon 阅读全文
posted @ 2017-04-24 15:42 bigbigtree 阅读(319) 评论(0) 推荐(0)
An SPI class of type org.apache.lucene.codecs.PostingsFormat with name 'Lucene50' does not exist. You need to add the corresponding JAR file supporting this SPI to your classpath. The current classp
摘要：背景介绍： 当ES中guava库与hive等组件的库冲突时，对Elasticsearch库进行shade，relocate解决库冲突问题。 当使用"org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"对资源进行重定向 阅读全文
posted @ 2017-04-19 19:46 bigbigtree 阅读(2725) 评论(1) 推荐(0)
解决Hive与Elasticsearch共有库 guava 冲突 NoSuchMethodError
摘要：情况描述 解决方法 方法一：Shade and relocate 简介 Shade Elasticsearch 引入shade ES jar 方法二：修改集群Job配置策略（未实验） 情况描述 使用JDBC从Hive中抽取数据，所以maven项目中有hive依赖库； 数据导入Elasticsearc 阅读全文
posted @ 2017-04-05 14:23 bigbigtree 阅读(7091) 评论(0) 推荐(0)
elasticsearch client 为空 错误信息：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecut‌​or()Ljava/util/concu‌​rrent/Executor
摘要：错误信息：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecut‌​or()Ljava/util/concu‌​rrent/Executor 现象：创建ES客户端连接失败 解决 阅读全文
posted @ 2017-03-22 10:31 bigbigtree 阅读(6319) 评论(0) 推荐(0)
Geoserver+Tomcat+GeoWebCache搭建地图服务
摘要：依赖TomcatGeoserverGeoWebCache环境部署JDKTomcat服务器Geoserver配置GeoWebCache配置环境启动使用使用geowebcache进行切片 依赖 Tomcat 不要下载8.0.24版本，发布带ImageIO的服务存在bug： https://bz.apac 阅读全文
posted @ 2016-12-20 19:58 bigbigtree 阅读(9326) 评论(0) 推荐(0)
ElasticSearch+ElasticGeo+Geoserver发布ES地理数据
摘要：依赖GeoserverElasticSearchElasticGeo部署部署ElasticGeo使用创建ES数据源并发布发布 依赖 Geoserver 环境搭建参考： ElasticSearch 环境搭建参考： ElasticGeo 用于在Geoserver中发布Elasticsearch的数据，支 阅读全文
posted @ 2016-12-20 19:53 bigbigtree 阅读(4609) 评论(1) 推荐(0)