flink elasticsearch sink table 忽略部分字段开发

接上一篇，实现flink对elasicsearch的source/table

代码 https://github.com/cclient/flink-connector-elasticsearch-sink

flink elasticsearch sink 的 table写，默认会写些'冗余'列进es

es table写，官方支持自定义主键列，和主键列的连接方式(-)

以这几个列连接，计算id ,做为es的_id 写入es

同时也像logstash/nifi 那样支持动态index,配置索引列，写入对的应索引

写入没有问题

问题是这些参于计算的列，也都会一并写入_source,虽然可以通过配置es的mapping，减少这些列的开销，但毕竟doc结构不整洁，看着碍事（实际logstash也有同样的问题，logstash指定的document_id 会写入最终doc source内,和_id重复）

有没有办法不写入这些列？

官方没有这功能，就想办法定制调整

结合flink的应用经验，并结合上篇es source的适配经验，很简单就实现了

1 官方的sink table是dynamic table 生成的是rowdata

2 sink 结合scheme 实现对rowdata的解析，转为json字符串，bulk写入es

问题就出现在这一步，scheme有列信息 rowdata 有列数据

把要转为字符串的rowdata及scheme 都去掉相应的列，问题就应该解决了

添加自定义参数名，ignore-fields 构造时加载

遍历旧scheme，过滤掉ignore-fields 列，生成新的scheme，以scheme做序列化

报错

因为rowdata和scheme不匹配，rowdata内的列也需要去掉

rowdata不支持k/v访问，但字段顺序和scheme一致，通过scheme算出ignore-fields在rowdata内的index

过滤掉rowdata的相关列，重新生成rowdata即可，主要代码rowDataRemoveFiledByIndex

    public RowData rowDataRemoveFiledByIndex(RowData row,int[] ignoreFieldIndeies){
        Object[] newRows=new Object[row.getArity()-ignoreFieldIndeies.length];
        for (int i = 0,j=0; i < row.getArity(); i++) {
            if(!intArrayContains(ignoreFieldIndeies,i)){
                newRows[j]=((GenericRowData)row).getField(i);
                j++;
            }
        }
        return GenericRowData.of(newRows);
    }

    private void processUpsert(RowData row, RequestIndexer indexer) {
        RowData rowData=rowDataRemoveFiledByIndex(row,this.ignoreFieldIndeies);
        byte[] document = this.serializationSchema.serialize(rowData);
        String key = (String)this.createKey.apply(row);
        if (key != null) {
            UpdateRequest updateRequest = this.requestFactory.createUpdateRequest(this.indexGenerator.generate(row), this.docType, key, this.contentType, document);
            indexer.add(new UpdateRequest[]{updateRequest});
        } else {
            IndexRequest indexRequest = this.requestFactory.createIndexRequest(this.indexGenerator.generate(row), this.docType, key, this.contentType, document);
            indexer.add(new IndexRequest[]{indexRequest});
        }

    }

如此问题解决，测试通过，写入es不再会有'冗余'字段

---

但该方法只是功能满足，实际性能有损失

scheme的加载是一次性的，没有影响

但对每一行数据rowdata，都要过滤字段，执行RowData rowData=rowDataRemoveFiledByIndex(row,this.ignoreFieldIndeies); 生成新的rowdata，大数据下开销相对较大，有一定性能损失

---

最完美的办法是在序列化的时候，也就是flink的原码基础上做，序列化时对rowdata不必要的字段做过滤，而不是构造一个过滤字段后的rowdata,由flink序列化

更好的办法要调整flink的core和序列化的核心公共代码了，改起来难度稍高，也会影响其他组件，暂时现有的方案

真有必要时再尝试改动序列化部分，编译flink,后部署