confluent单机+elstaticsearch单机

es部署

1.下载中心：https://elasticsearch.cn/download/,里面有各个版本的软件。

2.可以下载6的最新版，或者使用7的版本，先看看有哪些改动

3.解压 tar -xvf elasticsearch-6.5.4.tar.gz

4.cd elasticsearch-6.5.4/bin/

5.nohup ./elasticsearch & 后台启动

6.tail -f nohup.out 查看日志有无报错，正常的一般会启动失败，因为1.es 不允许root运行，2.需要调大系统参数配置，具体的看日志报错。

7.是否启动成功:curl ip+9200,有正常返回一串json信息则启动成功

kafka Connect 部署

https://www.confluent.io/download/

下载的为开源版本confluent-oss-5.0.1-2.11.tar.gz，下载后解压

1) 启动Zookeeper---默认localhost：2181

nohup ../bin/zookeeper-server-start ../etc/kafka/zookeeper.properties >>../logs/zookeeper.log&

2) 启动kafka

nohup ../bin/kafka-server-start ../etc/kafka/server.properties >>../logs/kafka.log&

3) 启动schema Registry

nohup ../bin/schema-registry-start ../etc/schema-registry/schema-registry.properties &

3) 启动kafka-rest

nohup ../bin/kafka-rest-start ../etc/kafka-rest/kafka-rest.properties >> ../logs/kafka-rest.log &

4)启动Connector----------单点模式启动,quickstart-elasticsearch.properties 需要修改为es的地址

nohup ../bin/connect-standalone ../etc/schema-registry/connect-avro-standalone.properties etc/kafka-connect-elasticsearch/quickstart-elasticsearch.properties >> ../logs/es.log&

启动后发现报错找不到这个类 io.confluent.connect.elasticsearch.ElasticsearchSinkConnector

解决办法: confluent-5.3.1/etc/schema-registry/ vi connect-avro-standalone.properties plugin.path=share/java 指明插件路径或者在线下载，../bin/confluent-hub install confluentinc/kafka-connect-elasticsearch:latest

再重新启动

如果以集群的方式启动，kafka连接器需要以API注册的方式启动，如ES连接器：

注册连接器： curl -X POST -H "Content-Type: application/json" --data

'{"name": "elasticsearch-sink", ###连接名称

"config":{"connector.class":"io.confluent.connect.elasticsearch.ElasticsearchSinkConnector", ##连接器所需类

"tasks.max": "1",

"topics": "clientuserlog", ###kafka 的topic

"connection.url":"http://ip:9200,http://ip:9200,http://ip:9200","type.name" : "_doc",

"key.ignore":"true"}} '

http://ip:8083/connectors ###连接器注册接口

删除连接器：curl -X DELETE http://ip:8083/connectors/(连接器名称)

查询连接器状态：curl http://ip:8083/connectors/(连接器名称)/status