logstash迁移elasticsearch数据

使用logstash迁移

logstash下载地址

# 源数据
input {
    elasticsearch {
        hosts => ["***:9200"] 
        index => "test"
        query => '{ "query": {"match_all" : {} } }'
        size => 15        # 读取数量
        scroll => "10m"  # 间隔时间
        codec => "json"
        docinfo => true
    }
}

　读取数据如果有流量控制建议间隔时间长些

# 目标数据
output {
  elasticsearch {
    hosts => ["http://***:9200/"]
    index => "test"
    document_type => "%{[@metadata][_type]}"  #和来源索引相同
    document_id => "%{[@metadata][_id]}"  #和来源索引相同
    user => "elastic"
    password => "elastic"
  }
}

　　目标elasticsearch 有多个type 需配置document_type，否则不知道插入哪个type中产生错误，

　　配置 document_id 防止数据重复

es 迁移

logstash.bat -f logstash.conf

 

　官网
input 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-inputs-elasticsearch.html
output 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-outputs-elasticsearch.html