POI实现excel大数据量导入
依据了https://blog.csdn.net/u013488171/article/details/78184545的帖子，感谢作者小逝的无私分享。
本人亲测导入4万条数据用时32分钟，因为有我自己本人项目的数据校验，大家的时间很可能不一样。
备注：我应用的时候出了这样的错误，最后没用这个方法，我的另一个帖子：https://www.cnblogs.com/daguozb/p/10043986.html，解析路径错误。
用到的jar包；
bios-poi-ooxml-3.9.jar
导入的思路见原博客，我说下我应用的文件建立思路：建立一个作为工具类的：抽象类BigDataParseExcelUtil，在抽象类中实现了excel的转换（转换过程可以不看）；对外展现接口process(String filename)来传入文件路径，并有个抽象方法对外迭代输出excel每行数据。
然后在你的方法里用匿名内部类的形式使用，实现抽象方法optRows，完成自己的操作。
代码如下：
抽象类BigDataParseExcelUtil
package com.iss.itms.util.excel; import java.io.InputStream; import java.sql.SQLException; import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.Date; import java.util.GregorianCalendar; import java.util.Iterator; import java.util.List; import org.apache.commons.lang.StringUtils; import org.apache.commons.lang.time.DateUtils; import org.apache.poi3.openxml4j.opc.OPCPackage; import org.apache.poi3.xssf.eventusermodel.XSSFReader; import org.apache.poi3.xssf.model.SharedStringsTable; import org.apache.poi3.xssf.usermodel.XSSFRichTextString; import org.xml.sax.Attributes; import org.xml.sax.InputSource; import org.xml.sax.SAXException; import org.xml.sax.XMLReader; import org.xml.sax.helpers.DefaultHandler; import org.xml.sax.helpers.XMLReaderFactory; import com.toft.utils.ToftLogger; /** * XSSF and SAX (Event API) */ public abstract class BigDataParseExcelUtil extends DefaultHandler { private SharedStringsTable sst; private String lastContents; private boolean nextIsString; private int sheetIndex = -1; private List<String> rowlist = new ArrayList<String>(); private int curRow = 0; // 当前行 private int curCol = 0; // 当前列索引 private int preCol = 0; // 上一列列索引 private int titleRow = 0; // 标题行，一般情况下为0 private int rowsize = 0; // 列数 private List excelList=new ArrayList(); //excel全部转换为list // excel记录行操作方法，以sheet索引，行索引和行元素列表为参数，对sheet的一行元素进行操作，元素为String类型 public abstract void optRows(int sheetIndex, int curRow, List<String> rowlist,List excelList) throws SQLException, Exception; // 只遍历一个sheet，其中sheetId为要遍历的sheet索引，从1开始，1-3 /** * * @param filename * @param sheetId * sheetId为要遍历的sheet索引，从1开始，1-3 * @throws Exception */ public void processOneSheet(String filename, int sheetId) throws Exception { OPCPackage pkg = OPCPackage.open(filename); XSSFReader r = new XSSFReader(pkg); SharedStringsTable sst = r.getSharedStringsTable(); XMLReader parser = fetchSheetParser(sst); // rId2 found by processing the Workbook // 根据 rId# 或 rSheet# 查找sheet InputStream sheet2 = r.getSheet("rId" + sheetId); sheetIndex++; InputSource sheetSource = new InputSource(sheet2); parser.parse(sheetSource); sheet2.close(); } public void characters(char[] ch, int start, int length) throws SAXException { // 得到单元格内容的值 lastContents += new String(ch, start, length); } /** * 遍历 excel 文件 */ public void process(String filename) throws Exception { // String fileString="C:\\Users\\hp\\Desktop\\新建\\model_ebankcertificate.xlsx"; ToftLogger.info("---process(String filename)方法的filename值为："+filename); OPCPackage pkg = OPCPackage.open(filename); XSSFReader r = new XSSFReader(pkg); SharedStringsTable sst = r.getSharedStringsTable(); XMLReader parser = fetchSheetParser(sst); Iterator<InputStream> sheets = r.getSheetsData(); while (sheets.hasNext()) { curRow = 0; sheetIndex++; InputStream sheet = sheets.next(); InputSource sheetSource = new InputSource(sheet); parser.parse(sheetSource); sheet.close(); } } public XMLReader fetchSheetParser(SharedStringsTable sst) throws SAXException { XMLReader parser = XMLReaderFactory.createXMLReader(); // .createXMLReader("org.apache.xerces.parsers.SAXParser"); this.sst = sst; parser.setContentHandler(this); return parser; } public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException { // c => 单元格 if (name.equals("c")) { // 如果下一个元素是 SST 的索引，则将nextIsString标记为true String cellType = attributes.getValue("t"); String rowStr = attributes.getValue("r"); curCol = this.getRowIndex(rowStr); if (cellType != null && cellType.equals("s")) { nextIsString = true; } else { nextIsString = false; } } // 置空 lastContents = ""; } public void endElement(String uri, String localName, String name) throws SAXException { // 根据SST的索引值的到单元格的真正要存储的字符串 // 这时characters()方法可能会被调用多次 if (nextIsString) { try { int idx = Integer.parseInt(lastContents); lastContents = new XSSFRichTextString(sst.getEntryAt(idx)) .toString(); } catch (Exception e) { } } // v => 单元格的值，如果单元格是字符串则v标签的值为该字符串在SST中的索引 // 将单元格内容加入rowlist中，在这之前先去掉字符串前后的空白符 if (name.equals("v")) { String value = lastContents.trim(); value = value.equals("") ? " " : value; int cols = curCol - preCol; if (cols > 1) { for (int i = 0; i < cols - 1; i++) { rowlist.add(preCol, ""); } } preCol = curCol; rowlist.add(curCol - 1, value); } else { // 如果标签名称为 row ，这说明已到行尾，调用 optRows() 方法 if (name.equals("row")) { int tmpCols = rowlist.size(); if (curRow > this.titleRow && tmpCols < this.rowsize) { for (int i = 0; i < this.rowsize - tmpCols; i++) { rowlist.add(rowlist.size(), ""); } } try { optRows(sheetIndex, curRow, rowlist,excelList); } catch (SQLException e) { e.printStackTrace(); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } if (curRow == this.titleRow) { this.rowsize = rowlist.size(); } rowlist.clear(); curRow++; curCol = 0; preCol = 0; } } } // 得到列索引，每一列c元素的r属性构成为字母加数字的形式，字母组合为列索引，数字组合为行索引， // 如AB45,表示为第（A-A+1）*26+（B-A+1）*26列，45行 public int getRowIndex(String rowStr) { rowStr = rowStr.replaceAll("[^A-Z]", ""); byte[] rowAbc = rowStr.getBytes(); int len = rowAbc.length; float num = 0; for (int i = 0; i < len; i++) { num += (rowAbc[i] - 'A' + 1) * Math.pow(26, len - i - 1); } return (int) num; } public void text(int t){ Calendar c = new GregorianCalendar(1900,0,0); Date d = c.getTime(); Date _d = DateUtils.addDays(d, t); System.out.println(_d.toLocaleString()); } public List getExcelList() { return this.excelList; } // 测试使用 public static void main(String[] args) throws Exception { long start = System.currentTimeMillis(); BigDataParseExcelUtil xlx = new BigDataParseExcelUtil() { @Override public void optRows(int sheetIndex, int curRow, List<String> rowlist,List excelList) throws SQLException { System.out.println(rowlist); if(!"证书到期日*".equals(rowlist.get(6))){ int parseInt = Integer.parseInt(rowlist.get(6)); System.out.println(parseInt); text(parseInt-1); } } }; // xlx.process("C:\\Users\\winitadmin\\导出123.xlsx"); xlx.process("C:\\Users\\hp\\Desktop\\model_ebankcertificatedfs.xlsx"); long end = System.currentTimeMillis(); System.out.println((end - start) / 1000); } }
我对BigDataParseExcelUtil的应用，上面代码只是实现了excel的解析和转换，我们要把解析好的数据插入到数据库，完成操作。
public void impdata() throws Exception{ //匿名内部类，实现工具类的操作方法，完成导入功能 BigDataParseExcelUtil xlx = new BigDataParseExcelUtil() { List<String> onlyUCode=new ArrayList<String>();//记录导入文件的Code,避免重复 @Override public void optRows(int sheetIndex, int curRow, List<String> rowlist,List excelList) throws Exception { ToftLogger.info("---进入方法optRows-----"); //excelList,onlyUCode是我自己项目用的，你们自决定去留。去掉的话在工具类里也改下 impdataOperation(sheetIndex,curRow,rowlist,excelList,onlyUCode); } }; String fileName = this.getContext().getAttribute("fileName").toString(); xlx.process(fileName); List excelList = xlx.getExcelList();//我在impdataOperation方法里把excle的数据全部放到了excelList里，所以这里能get到 }
上面impdataOperation方法是我完成自己项目实现的方法，不贴了；一般就是校验个列数据。
注意：1、什么时候知道excel导入完成？
我也不知道，所以我就在我上面加了excelList属性，在impdataOperation方法中校验完成就给excelList添加一条，知道最后一条，到List excelList = xlx.getExcelList();就获得了全部的数据。大家有好的方法希望留言。
先这样，有问题大家多评论。
