easyExcel用策略模式实现导入

在之前的一次项目中用的过Easyexcel进行一些导入导出操作，之前是将解析到的数据提取出来然后返回给调用方，让调用方进行数据库操作。

这方法虽然可行，但是面对大量数据时可能会造成oom。
本来官方文档给的参考方法就是当解析量达到一定数量时就进行保存，然后清空列表继续解析。根据官方文档以及这个工具类的可用性、扩展性。
我根据策略模式想出了一种解决方法。
在监听器里面声明一个ExcelService接口，然后根据实际业务创造相应实现类。在实现类里面注入所需的各种service进行数据库操作
下面贴上代码

监听器类

package com.konka.dsp.api.elecsign.service.util;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.exception.ExcelDataConvertException;
import com.alibaba.fastjson.JSON;

import lombok.extern.slf4j.Slf4j;


import java.util.ArrayList;
import java.util.List;

/**
 * @author ydmy
 * @date :2020/11/6 10:23
 */
@Slf4j
public class BaseHandlerListener<T> extends AnalysisEventListener<T> {
    /**
     * 每隔5条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 3000;
    private final ExcelService<T> excelService;
    private final List<T> list = new ArrayList<T>();
    /**
     * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
     * @param customerService customerService
     */

//    public CustomerListener(Y customerService) {
//        // 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
//        this.customerService = customerService;
//    }


    public BaseHandlerListener(ExcelService<T> excelService) {
        this.excelService = excelService;
    }

    /**
     * 这个每一条数据解析都会来调用
     *
     * @param data
     *            one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context context
     */
    @Override
    public void invoke(T data, AnalysisContext context) {
        log.info("解析到一条数据:{}", JSON.toJSONString(data));
        list.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (list.size() >= BATCH_COUNT) {
            handleSaveData();
            // 存储完成清理 list
            list.clear();
        }
    }

    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context context
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据，确保最后遗留的数据也存储到数据库
        handleSaveData();
        log.info("所有数据解析完成！");
    }

    /**
     * 加上存储数据库
     */
    private void handleSaveData() {
        log.info("{}条数据，开始存储数据库！", list.size());
        excelService.handleSaveImportData(list);
        log.info("存储数据库成功！");
    }

    @Override
    public void onException(Exception exception, AnalysisContext context) throws Exception {
        log.error("解析失败:{}", exception.getMessage());
        // 如果是某一个单元格的转换异常 能获取到具体行号
        // 如果要获取头的信息 配合invokeHeadMap使用
        if (exception instanceof ExcelDataConvertException) {
            ExcelDataConvertException excelDataConvertException = (ExcelDataConvertException)exception;
            log.error("第{}行，第{}列解析异常", excelDataConvertException.getRowIndex(),
                excelDataConvertException.getColumnIndex());
            throw new RuntimeException("第"+excelDataConvertException.getRowIndex()+"行，第"+excelDataConvertException.getColumnIndex()+"列解析异常");
        }
    }
}

Service接口

public interface ExcelService<T> {
    void handleSaveImportData(List<T> dataList);
}

通过构造方法进行自动注入
ServiceImpl类

public class ElecsignCerteExcelServiceImpl implements ExcelService<ElecsignCertExcelDTO> {
    private ElecsignCertService elecsignCertService;

    public ElecsignCerteExcelServiceImpl(ElecsignCertService elecsignCertService) {
        this.elecsignCertService = elecsignCertService;
    }

    @Override
    public void handleSaveImportData(List<ElecsignCertExcelDTO> dataList) {
            elecsignCertService.saveAll(dataList);
    }
}