2019年11月19日
摘要: 常用查询语句 //创建一个索引 PUT my_index //新增1:给创建的索引新增一个文档(指定id) PUT my_index/_create/1 { "name":"kevin", "age":18 } //新增2:给创建的索引新增一个文档(指定id PUT my_index/_doc/3? 阅读全文
posted @ 2019-11-19 23:15 一只猪儿虫 阅读(593) 评论(0) 推荐(0) 编辑
  2019年9月18日
摘要: 背景:我是用docker-compose的方式装的es集群,正常情况es镜像没有插件,如果在docker里面用命令安装了那么重启以后又没了,所以采用挂载离线安装的方式 版本: es7.2 1下载Hanlp插件 https://github.com/KennFalcon/elasticsearch-a 阅读全文
posted @ 2019-09-18 15:32 一只猪儿虫 阅读(981) 评论(0) 推荐(0) 编辑
  2019年8月26日
摘要: 之前网卡启动不了,会是配置不对,或者是移动了虚拟机导致hwaddr发生了变化。 但是今天没改动什么,突然用不了,一直报错Failed to start LSB: Bring up/down .... 通过journalctl -xe 查看一直报错: Error: Connection activat 阅读全文
posted @ 2019-08-26 22:58 一只猪儿虫 阅读(197) 评论(0) 推荐(0) 编辑
  2019年8月22日
摘要: Presto安装 前提条件: hadoop安装好了(并启动了) + hive安装好了 文档网址:http://prestodb.jd.com/docs/current/installation/deployment.html 首先解压下载好的tar.gz包 1 .安装包 https://repo1. 阅读全文
posted @ 2019-08-22 10:03 一只猪儿虫 阅读(6387) 评论(0) 推荐(0) 编辑
  2019年7月9日
摘要: mysql-->hbase 0 参考文档: https://github.com/alibaba/DataX/blob/master/hbase11xwriter/doc/hbase11xwriter.md 虽然我是:hbase1.3.3 但是还是可以。 1 配置文件 { "job": { "set 阅读全文
posted @ 2019-07-09 09:52 一只猪儿虫 阅读(3606) 评论(0) 推荐(0) 编辑
摘要: mysql-->hive 0 参考文档: https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md 1.配置文件:mysql2hive.json { "job": { "content": [ { "reade 阅读全文
posted @ 2019-07-09 09:51 一只猪儿虫 阅读(9970) 评论(0) 推荐(0) 编辑
摘要: 插件文档; https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md 1,参照第1篇日记,安装好datax 2,使用命令生成mysql导入导出的json模板, 修改模板 python datax.py -r m 阅读全文
posted @ 2019-07-09 09:50 一只猪儿虫 阅读(1544) 评论(0) 推荐(0) 编辑
摘要: DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 htt 阅读全文
posted @ 2019-07-09 09:49 一只猪儿虫 阅读(972) 评论(0) 推荐(0) 编辑
  2019年5月31日
摘要: pom文件: 第一种: 常见的生产者: 第二种: 生产者带回调函数 阅读全文
posted @ 2019-05-31 16:57 一只猪儿虫 阅读(1012) 评论(0) 推荐(0) 编辑
摘要: 上面是pom,下面是代码块: 阅读全文
posted @ 2019-05-31 16:53 一只猪儿虫 阅读(432) 评论(0) 推荐(0) 编辑