POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

沙海
沙海
沙海
765
文章
2
评论
2021年3月20日04:37:53
评论
5 29062字阅读96分52秒
摘要

速读摘要

速读摘要

点击上方"Java基基",选择"设为星标"做积极的人,而不是积极废人!而excel2007采用了基于XML的ooxml开放文档标准,ooxml使用XML和ZIP技术结合进行文件存储,XML是一个基于文本的格式,而且ZIP容器支持内容的压缩,所以其一大优势是可以大大减小文件的尺寸。startElement()用于设定单元格的数字类型(如日期、数字、字符串等等)。重写process(),processRecord()两个方法,其中processRecord是核心方法,用于处理sheetName和各种单元格数字类型。

原文约 7442 | 图片 8 | 建议阅读 15 分钟 | 评价反馈

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

点击关注 ? Java基基

点击上方“Java基基”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:cnblogs.com/swordfall/p/8298386.html

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

1. Excel2003与Excel2007

两个版本的最大行数和列数不同,2003版最大行数是65536行,最大列数是256列,2007版及以后的版本最大行数是1048576行,最大列数是16384列。

excel2003是以二进制的方式存储,这种格式不易被其他软件读取使用;而excel2007采用了基于XML的ooxml开放文档标准,ooxml使用XML和ZIP技术结合进行文件存储,XML是一个基于文本的格式,而且ZIP容器支持内容的压缩,所以其一大优势是可以大大减小文件的尺寸。

2. 大批量数据读写

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

图片

2.1 大批量数据写入

对于大数据的Xlsx文件的写入,POI3.8提供了SXSSFSXSSFWorkbook类,采用缓存方式进行大批量写文件。

详情可以查看poi官网示例:

http://poi.apache.org/spreadsheet/how-to.html#sxssf

http://blog.csdn.net/daiyutage/article/details/53010491

2.2 大批量数据读取

POI读取Excel有两种模式,一种是用户模式,一种是SAX事件驱动模式,将xlsx格式的文档转换成CSV格式后进行读取。用户模式API接口丰富,使用POI的API可以很容易读取Excel,但用户模式消耗的内存很大,当遇到很大sheet、大数据网格,假空行、公式等问题时,很容易导致内存溢出。

POI官方推荐解决内存溢出的方式使用CVS格式解析,即SAX事件驱动模式。下面主要是讲解如何读取大批量数据:

2.2.1 pom.xml所需jar包

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">  <modelVersion>4.0.0</modelVersion>  <groupId>POIExcel</groupId>  <artifactId>POIExcel</artifactId>  <packaging>war</packaging>  <version>1.0-SNAPSHOT</version>  <name>POIExcel Maven Webapp</name>  <url>http://maven.apache.org</url>  <dependencies>    <dependency>      <groupId>junit</groupId>      <artifactId>junit</artifactId>      <version>3.8.1</version>      <scope>test</scope>    </dependency>    <dependency>      <groupId>org.apache.poi</groupId>      <artifactId>poi</artifactId>      <version>3.17</version>    </dependency>    <dependency>      <groupId>org.apache.poi</groupId>      <artifactId>poi-ooxml</artifactId>      <version>3.17</version>    </dependency>    <dependency>      <groupId>org.apache.poi</groupId>      <artifactId>poi-ooxml-schemas</artifactId>      <version>3.17</version>    </dependency>    <dependency>      <groupId>com.syncthemall</groupId>      <artifactId>boilerpipe</artifactId>      <version>1.2.1</version>    </dependency>    <dependency>      <groupId>xerces</groupId>      <artifactId>xercesImpl</artifactId>      <version>2.11.0</version>    </dependency>    <dependency>      <groupId>xml-apis</groupId>      <artifactId>xml-apis</artifactId>      <version>1.4.01</version>    </dependency>    <dependency>      <groupId>org.apache.xmlbeans</groupId>      <artifactId>xmlbeans</artifactId>      <version>2.6.0</version>    </dependency>    <dependency>      <groupId>sax</groupId>      <artifactId>sax</artifactId>      <version>2.0.1</version>    </dependency>    <dependency>      <groupId>org.apache.commons</groupId>      <artifactId>commons-lang3</artifactId>      <version>3.7</version>    </dependency>  </dependencies>  <build>    <finalName>POIExcel</finalName>  </build></project>

2.2.2 POI以SAX解析excel2007文件

解决思路:通过继承DefaultHandler类,重写process(),startElement(),characters(),endElement()这四个方法。

  • process()方式主要是遍历所有的sheet,并依次调用startElement()、characters()方法、endElement()这三个方法。

  • startElement()用于设定单元格的数字类型(如日期、数字、字符串等等)。

  • characters()用于获取该单元格对应的索引值或是内容值(如果单元格类型是字符串、INLINESTR、数字、日期则获取的是索引值;其他如布尔值、错误、公式则获取的是内容值)。

  • endElement()根据startElement()的单元格数字类型和characters()的索引值或内容值,最终得出单元格的内容值,并打印出来。

package org.poi;import org.apache.poi.openxml4j.opc.OPCPackage;import org.apache.poi.ss.usermodel.BuiltinFormats;import org.apache.poi.ss.usermodel.DataFormatter;import org.apache.poi.xssf.eventusermodel.XSSFReader;import org.apache.poi.xssf.model.SharedStringsTable;import org.apache.poi.xssf.model.StylesTable;import org.apache.poi.xssf.usermodel.XSSFCellStyle;import org.apache.poi.xssf.usermodel.XSSFRichTextString;import org.xml.sax.Attributes;import org.xml.sax.InputSource;import org.xml.sax.SAXException;import org.xml.sax.XMLReader;import org.xml.sax.helpers.DefaultHandler;import org.xml.sax.helpers.XMLReaderFactory;import java.io.InputStream;import java.util.ArrayList;import java.util.List;/** * @author y * @desc POI读取excel有两种模式,一种是用户模式,一种是事件驱动模式 * 采用SAX事件驱动模式解决XLSX文件,可以有效解决用户模式内存溢出的问题, * 该模式是POI官方推荐的读取大数据的模式, * 在用户模式下,数据量较大,Sheet较多,或者是有很多无用的空行的情况下,容易出现内存溢出 * <p> * 用于解决.xlsx2007版本大数据量问题 **/public class ExcelXlsxReader extends DefaultHandler {    /**     * 单元格中的数据可能的数据类型     */    enum CellDataType {        BOOL, ERROR, FORMULA, INLINESTR, SSTINDEX, NUMBER, DATE, NULL    }    /**     * 共享字符串表     */    private SharedStringsTable sst;    /**     * 上一次的索引值     */    private String lastIndex;    /**     * 文件的绝对路径     */    private String filePath = "";    /**     * 工作表索引     */    private int sheetIndex = 0;    /**     * sheet名     */    private String sheetName = "";    /**     * 总行数     */    private int totalRows=0;    /**     * 一行内cell集合     */    private List<String> cellList = new ArrayList<String>();    /**     * 判断整行是否为空行的标记     */    private boolean flag = false;    /**     * 当前行     */    private int curRow = 1;    /**     * 当前列     */    private int curCol = 0;    /**     * T元素标识     */    private boolean isTElement;    /**     * 判断上一单元格是否为文本空单元格     */    private boolean startElementFlag = true;    private boolean endElementFlag = false;    private boolean charactersFlag = false;    /**     * 异常信息,如果为空则表示没有异常     */    private String exceptionMessage;    /**     * 单元格数据类型,默认为字符串类型     */    private CellDataType nextDataType = CellDataType.SSTINDEX;    private final DataFormatter formatter = new DataFormatter();    /**     * 单元格日期格式的索引     */    private short formatIndex;    /**     * 日期格式字符串     */    private String formatString;    //定义前一个元素和当前元素的位置,用来计算其中空的单元格数量,如A6和A8等    private String prePreRef = "A", preRef = null, ref = null;    //定义该文档一行最大的单元格数,用来补全一行最后可能缺失的单元格    private String maxRef = null;    /**     * 单元格     */    private StylesTable stylesTable;    /**     * 遍历工作簿中所有的电子表格     * 并缓存在mySheetList中     *     * @param filename     * @throws Exception     */    public int process(String filename) throws Exception {        filePath = filename;        OPCPackage pkg = OPCPackage.open(filename);        XSSFReader xssfReader = new XSSFReader(pkg);        stylesTable = xssfReader.getStylesTable();        SharedStringsTable sst = xssfReader.getSharedStringsTable();        XMLReader parser = XMLReaderFactory.createXMLReader("org.apache.xerces.parsers.SAXParser");        this.sst = sst;        parser.setContentHandler(this);        XSSFReader.SheetIterator sheets = (XSSFReader.SheetIterator) xssfReader.getSheetsData();        while (sheets.hasNext()) { //遍历sheet            curRow = 1; //标记初始行为第一行            sheetIndex++;            InputStream sheet = sheets.next(); //sheets.next()和sheets.getSheetName()不能换位置,否则sheetName报错            sheetName = sheets.getSheetName();            InputSource sheetSource = new InputSource(sheet);            parser.parse(sheetSource); //解析excel的每条记录,在这个过程中startElement()、characters()、endElement()这三个函数会依次执行            sheet.close();        }        return totalRows; //返回该excel文件的总行数,不包括首列和空行    }    /**     * 第一个执行     *     * @param uri     * @param localName     * @param name     * @param attributes     * @throws SAXException     */    @Override    public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {        //c => 单元格        if ("c".equals(name)) {            //前一个单元格的位置            if (preRef == null) {                preRef = attributes.getValue("r");            } else {                //中部文本空单元格标识 ‘endElementFlag’ 判断前一次是否为文本空字符串,true则表明不是文本空字符串,false表明是文本空字符串跳过把空字符串的位置赋予preRef                if (endElementFlag){                    preRef = ref;                }            }            //当前单元格的位置            ref = attributes.getValue("r");            //首部文本空单元格标识 ‘startElementFlag’ 判断前一次,即首部是否为文本空字符串,true则表明不是文本空字符串,false表明是文本空字符串, 且已知当前格,即第二格带“B”标志,则ref赋予preRef            if (!startElementFlag && !flag){ //上一个单元格为文本空单元格,执行下面的,使ref=preRef;flag为true表明该单元格之前有数据值,即该单元格不是首部空单元格,则跳过                // 这里只有上一个单元格为文本空单元格,且之前的几个单元格都没有值才会执行                preRef = ref;            }            //设定单元格类型            this.setNextDataType(attributes);            endElementFlag = false;            charactersFlag = false;            startElementFlag = false;        }        //当元素为t时        if ("t".equals(name)) {            isTElement = true;        } else {            isTElement = false;        }        //置空        lastIndex = "";    }    /**     * 第二个执行     * 得到单元格对应的索引值或是内容值     * 如果单元格类型是字符串、INLINESTR、数字、日期,lastIndex则是索引值     * 如果单元格类型是布尔值、错误、公式,lastIndex则是内容值     * @param ch     * @param start     * @param length     * @throws SAXException     */    @Override    public void characters(char[] ch, int start, int length) throws SAXException {        startElementFlag = true;        charactersFlag = true;        lastIndex += new String(ch, start, length);    }    /**     * 第三个执行     *     * @param uri     * @param localName     * @param name     * @throws SAXException     */    @Override    public void endElement(String uri, String localName, String name) throws SAXException {        //t元素也包含字符串        if (isTElement) {//这个程序没经过            //将单元格内容加入rowlist中,在这之前先去掉字符串前后的空白符            String value = lastIndex.trim();            cellList.add(curCol, value);            endElementFlag = true;            curCol++;            isTElement = false;            //如果里面某个单元格含有值,则标识该行不为空行            if (value != null && !"".equals(value)) {                flag = true;            }        } else if ("v".equals(name)) {            //v => 单元格的值,如果单元格是字符串,则v标签的值为该字符串在SST中的索引            String value = this.getDataValue(lastIndex.trim(), "");//根据索引值获取对应的单元格值            //补全单元格之间的空单元格            if (!ref.equals(preRef)) {                int len = countNullCell(ref, preRef);                for (int i = 0; i < len; i++) {                    cellList.add(curCol, "");                    curCol++;                }            } else if (ref.equals(preRef) && !ref.startWith("A")){ //ref等于preRef,且以B或者C...开头,表明首部为空格271                 int len = countNullCell(ref, "A");                for (int i = 0; i <= len; i++) {                    cellList.add(curCol, "");                    curCol++;                }            }            cellList.add(curCol, value);            curCol++;            endElementFlag = true;            //如果里面某个单元格含有值,则标识该行不为空行            if (value != null && !"".equals(value)) {                flag = true;            }        } else {            //如果标签名称为row,这说明已到行尾,调用optRows()方法            if ("row".equals(name)) {                //默认第一行为表头,以该行单元格数目为最大数目                if (curRow == 1) {                    maxRef = ref;                }                //补全一行尾部可能缺失的单元格                if (maxRef != null) {                    int len = -1;                    //前一单元格,true则不是文本空字符串,false则是文本空字符串                    if (charactersFlag){                        len = countNullCell(maxRef, ref);                    }else {                        len = countNullCell(maxRef, preRef);                    }                    for (int i = 0; i <= len; i++) {                        cellList.add(curCol, "");                        curCol++;                    }                }                if (flag&&curRow!=1){ //该行不为空行且该行不是第一行,则发送(第一行为列名,不需要)                    ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow, cellList);                    totalRows++;                }                cellList.clear();                curRow++;                curCol = 0;                preRef = null;                prePreRef = null;                ref = null;                flag=false;            }        }    }    /**     * 处理数据类型     *     * @param attributes     */    public void setNextDataType(Attributes attributes) {        nextDataType = CellDataType.NUMBER; //cellType为空,则表示该单元格类型为数字        formatIndex = -1;        formatString = null;        String cellType = attributes.getValue("t"); //单元格类型        String cellStyleStr = attributes.getValue("s"); //        String columnData = attributes.getValue("r"); //获取单元格的位置,如A1,B1        if ("b".equals(cellType)) { //处理布尔值            nextDataType = CellDataType.BOOL;        } else if ("e".equals(cellType)) {  //处理错误            nextDataType = CellDataType.ERROR;        } else if ("inlineStr".equals(cellType)) {            nextDataType = CellDataType.INLINESTR;        } else if ("s".equals(cellType)) { //处理字符串            nextDataType = CellDataType.SSTINDEX;        } else if ("str".equals(cellType)) {            nextDataType = CellDataType.FORMULA;        }        if (cellStyleStr != null) { //处理日期            int styleIndex = Integer.parseInt(cellStyleStr);            XSSFCellStyle style = stylesTable.getStyleAt(styleIndex);            formatIndex = style.getDataFormat();            formatString = style.getDataFormatString();            if (formatString.contains("m/d/yyyy") || formatString.contains("yyyy/mm/dd")|| formatString.contains("yyyy/m/d") ) {                nextDataType = CellDataType.DATE;                formatString = "yyyy-MM-dd hh:mm:ss";            }            if (formatString == null) {                nextDataType = CellDataType.NULL;                formatString = BuiltinFormats.getBuiltinFormat(formatIndex);            }        }    }    /**     * 对解析出来的数据进行类型处理     * @param value   单元格的值,     *                value代表解析:BOOL的为0或1, ERROR的为内容值,FORMULA的为内容值,INLINESTR的为索引值需转换为内容值,     *                SSTINDEX的为索引值需转换为内容值, NUMBER为内容值,DATE为内容值     * @param thisStr 一个空字符串     * @return     */    @SuppressWarnings("deprecation")    public String getDataValue(String value, String thisStr) {        switch (nextDataType) {            // 这几个的顺序不能随便交换,交换了很可能会导致数据错误            case BOOL: //布尔值                char first = value.charAt(0);                thisStr = first == '0' ? "FALSE" : "TRUE";                break;            case ERROR: //错误                thisStr = "\"ERROR:" + value.toString() + '"';                break;            case FORMULA: //公式                thisStr = '"' + value.toString() + '"';                break;            case INLINESTR:                XSSFRichTextString rtsi = new XSSFRichTextString(value.toString());                thisStr = rtsi.toString();                rtsi = null;                break;            case SSTINDEX: //字符串                String sstIndex = value.toString();                try {                    int idx = Integer.parseInt(sstIndex);                    XSSFRichTextString rtss = new XSSFRichTextString(sst.getEntryAt(idx));//根据idx索引值获取内容值                    thisStr = rtss.toString();                    System.out.println(thisStr);                    //有些字符串是文本格式的,但内容却是日期                    rtss = null;                } catch (NumberFormatException ex) {                    thisStr = value.toString();                }                break;            case NUMBER: //数字                if (formatString != null) {                    thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString).trim();                } else {                    thisStr = value;                }                thisStr = thisStr.replace("_", "").trim();                break;            case DATE: //日期                thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString);                // 对日期字符串作特殊处理,去掉T                thisStr = thisStr.replace("T", " ");                break;            default:                thisStr = " ";                break;        }        return thisStr;    }    public int countNullCell(String ref, String preRef) {        //excel2007最大行数是1048576,最大列数是16384,最后一列列名是XFD        String xfd = ref.replaceAll("\\d+", "");        String xfd_1 = preRef.replaceAll("\\d+", "");        xfd = fillChar(xfd, 3, '@', true);        xfd_1 = fillChar(xfd_1, 3, '@', true);        char[] letter = xfd.toCharArray();        char[] letter_1 = xfd_1.toCharArray();        int res = (letter[0] - letter_1[0]) * 26 * 26 + (letter[1] - letter_1[1]) * 26 + (letter[2] - letter_1[2]);        return res - 1;    }    public String fillChar(String str, int len, char let, boolean isPre) {        int len_1 = str.length();        if (len_1 < len) {            if (isPre) {                for (int i = 0; i < (len - len_1); i++) {                    str = let + str;                }            } else {                for (int i = 0; i < (len - len_1); i++) {                    str = str + let;                }            }        }        return str;    }    /**     * @return the exceptionMessage     */    public String getExceptionMessage() {        return exceptionMessage;    }}

2.2.3 POI通过继承HSSFListener类来解决Excel2003文件

解决思路:重写process(),processRecord()两个方法,其中processRecord是核心方法,用于处理sheetName和各种单元格数字类型。

package org.poi;import org.apache.poi.hssf.eventusermodel.*;import org.apache.poi.hssf.eventusermodel.dummyrecord.LastCellOfRowDummyRecord;import org.apache.poi.hssf.eventusermodel.dummyrecord.MissingCellDummyRecord;import org.apache.poi.hssf.model.HSSFFormulaParser;import org.apache.poi.hssf.record.*;import org.apache.poi.hssf.usermodel.HSSFDataFormatter;import org.apache.poi.hssf.usermodel.HSSFWorkbook;import org.apache.poi.poifs.filesystem.POIFSFileSystem;import java.io.FileInputStream;import java.util.ArrayList;import java.util.List;/** * @author y * @desc 用于解决.xls2003版本大数据量问题 **/public class ExcelXlsReader implements HSSFListener {    private int minColums = -1;    private POIFSFileSystem fs;    /**     * 总行数     */    private int totalRows=0;    /**     * 上一行row的序号     */    private int lastRowNumber;    /**     * 上一单元格的序号     */    private int lastColumnNumber;    /**     * 是否输出formula,还是它对应的值     */    private boolean outputFormulaValues = true;    /**     * 用于转换formulas     */    private EventWorkbookBuilder.SheetRecordCollectingListener workbookBuildingListener;    //excel2003工作簿    private HSSFWorkbook stubWorkbook;    private SSTRecord sstRecord;    private FormatTrackingHSSFListener formatListener;    private final HSSFDataFormatter formatter = new HSSFDataFormatter();    /**     * 文件的绝对路径     */    private String filePath = "";    //表索引    private int sheetIndex = 0;    private BoundSheetRecord[] orderedBSRs;    @SuppressWarnings("unchecked")    private ArrayList boundSheetRecords = new ArrayList();    private int nextRow;    private int nextColumn;    private boolean outputNextStringRecord;    //当前行    private int curRow = 0;    //存储一行记录所有单元格的容器    private List<String> cellList = new ArrayList<String>();    /**     * 判断整行是否为空行的标记     */    private boolean flag = false;    @SuppressWarnings("unused")    private String sheetName;    /**     * 遍历excel下所有的sheet     *     * @param fileName     * @throws Exception     */    public int process(String fileName) throws Exception {        filePath = fileName;        this.fs = new POIFSFileSystem(new FileInputStream(fileName));        MissingRecordAwareHSSFListener listener = new MissingRecordAwareHSSFListener(this);        formatListener = new FormatTrackingHSSFListener(listener);        HSSFEventFactory factory = new HSSFEventFactory();        HSSFRequest request = new HSSFRequest();        if (outputFormulaValues) {            request.addListenerForAllRecords(formatListener);        } else {            workbookBuildingListener = new EventWorkbookBuilder.SheetRecordCollectingListener(formatListener);            request.addListenerForAllRecords(workbookBuildingListener);        }        factory.processWorkbookEvents(request, fs);        return totalRows; //返回该excel文件的总行数,不包括首列和空行    }    /**     * HSSFListener 监听方法,处理Record     * 处理每个单元格     * @param record     */    @SuppressWarnings("unchecked")    public void processRecord(Record record) {        int thisRow = -1;        int thisColumn = -1;        String thisStr = null;        String value = null;        switch (record.getSid()) {            case BoundSheetRecord.sid:                boundSheetRecords.add(record);                break;            case BOFRecord.sid: //开始处理每个sheet                BOFRecord br = (BOFRecord) record;                if (br.getType() == BOFRecord.TYPE_WORKSHEET) {                    //如果有需要,则建立子工作簿                    if (workbookBuildingListener != null && stubWorkbook == null) {                        stubWorkbook = workbookBuildingListener.getStubHSSFWorkbook();                    }                    if (orderedBSRs == null) {                        orderedBSRs = BoundSheetRecord.orderByBofPosition(boundSheetRecords);                    }                    sheetName = orderedBSRs[sheetIndex].getSheetname();                    sheetIndex++;                }                break;            case SSTRecord.sid:                sstRecord = (SSTRecord) record;                break;            case BlankRecord.sid: //单元格为空白                BlankRecord brec = (BlankRecord) record;                thisRow = brec.getRow();                thisColumn = brec.getColumn();                thisStr = "";                cellList.add(thisColumn, thisStr);                break;            case BoolErrRecord.sid: //单元格为布尔类型                BoolErrRecord berec = (BoolErrRecord) record;                thisRow = berec.getRow();                thisColumn = berec.getColumn();                thisStr = berec.getBooleanValue() + "";                cellList.add(thisColumn, thisStr);                checkRowIsNull(thisStr);  //如果里面某个单元格含有值,则标识该行不为空行                break;            case FormulaRecord.sid://单元格为公式类型                FormulaRecord frec = (FormulaRecord) record;                thisRow = frec.getRow();                thisColumn = frec.getColumn();                if (outputFormulaValues) {                    if (Double.isNaN(frec.getValue())) {                        outputNextStringRecord = true;                        nextRow = frec.getRow();                        nextColumn = frec.getColumn();                    } else {                        thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';                    }                } else {                    thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';                }                cellList.add(thisColumn, thisStr);                checkRowIsNull(thisStr);  //如果里面某个单元格含有值,则标识该行不为空行                break;            case StringRecord.sid: //单元格中公式的字符串                if (outputNextStringRecord) {                    StringRecord srec = (StringRecord) record;                    thisStr = srec.getString();                    thisRow = nextRow;                    thisColumn = nextColumn;                    outputNextStringRecord = false;                }                break;            case LabelRecord.sid:                LabelRecord lrec = (LabelRecord) record;                curRow = thisRow = lrec.getRow();                thisColumn = lrec.getColumn();                value = lrec.getValue().trim();                value = value.equals("") ? "" : value;                cellList.add(thisColumn, value);                checkRowIsNull(value);  //如果里面某个单元格含有值,则标识该行不为空行                break;            case LabelSSTRecord.sid: //单元格为字符串类型                LabelSSTRecord lsrec = (LabelSSTRecord) record;                curRow = thisRow = lsrec.getRow();                thisColumn = lsrec.getColumn();                if (sstRecord == null) {                    cellList.add(thisColumn, "");                } else {                    value = sstRecord.getString(lsrec.getSSTIndex()).toString().trim();                    value = value.equals("") ? "" : value;                    cellList.add(thisColumn, value);                    checkRowIsNull(value);  //如果里面某个单元格含有值,则标识该行不为空行                }                break;            case NumberRecord.sid: //单元格为数字类型                NumberRecord numrec = (NumberRecord) record;                curRow = thisRow = numrec.getRow();                thisColumn = numrec.getColumn();                //第一种方式                //value = formatListener.formatNumberDateCell(numrec).trim();//这个被写死,采用的m/d/yy h:mm格式,不符合要求                //第二种方式,参照formatNumberDateCell里面的实现方法编写                Double valueDouble=((NumberRecord)numrec).getValue();                String formatString=formatListener.getFormatString(numrec);                if (formatString.contains("m/d/yy")){                    formatString="yyyy-MM-dd hh:mm:ss";                }                int formatIndex=formatListener.getFormatIndex(numrec);                value=formatter.formatRawCellContents(valueDouble, formatIndex, formatString).trim();                value = value.equals("") ? "" : value;                //向容器加入列值                cellList.add(thisColumn, value);                checkRowIsNull(value);  //如果里面某个单元格含有值,则标识该行不为空行                break;            default:                break;        }        //遇到新行的操作        if (thisRow != -1 && thisRow != lastRowNumber) {            lastColumnNumber = -1;        }        //空值的操作        if (record instanceof MissingCellDummyRecord) {            MissingCellDummyRecord mc = (MissingCellDummyRecord) record;            curRow = thisRow = mc.getRow();            thisColumn = mc.getColumn();            cellList.add(thisColumn, "");        }        //更新行和列的值        if (thisRow > -1)            lastRowNumber = thisRow;        if (thisColumn > -1)            lastColumnNumber = thisColumn;        //行结束时的操作        if (record instanceof LastCellOfRowDummyRecord) {            if (minColums > 0) {                //列值重新置空                if (lastColumnNumber == -1) {                    lastColumnNumber = 0;                }            }            lastColumnNumber = -1;            if (flag&&curRow!=0) { //该行不为空行且该行不是第一行,发送(第一行为列名,不需要)                ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow + 1, cellList); //每行结束时,调用sendRows()方法                totalRows++;            }            //清空容器            cellList.clear();            flag=false;        }    }    /**     * 如果里面某个单元格含有值,则标识该行不为空行     * @param value     */    public void checkRowIsNull(String value){        if (value != null && !"".equals(value)) {            flag = true;        }    }}

2.2.4 辅助类ExcelReaderUtil

调用ExcelXlsReader类和ExcelXlsxReader类对excel2003和excel2007两个版本进行大批量数据读取:

package org.poi;import java.util.List;/** * @author y * @desc **/public class ExcelReaderUtil {    //excel2003扩展名    public static final String EXCEL03_EXTENSION = ".xls";    //excel2007扩展名    public static final String EXCEL07_EXTENSION = ".xlsx";    /**     * 每获取一条记录,即打印     * 在flume里每获取一条记录即发送,而不必缓存起来,可以大大减少内存的消耗,这里主要是针对flume读取大数据量excel来说的     * @param sheetName     * @param sheetIndex     * @param curRow     * @param cellList     */    public static void sendRows(String filePath, String sheetName, int sheetIndex, int curRow, List<String> cellList) {            StringBuffer oneLineSb = new StringBuffer();            oneLineSb.append(filePath);            oneLineSb.append("--");            oneLineSb.append("sheet" + sheetIndex);            oneLineSb.append("::" + sheetName);//加上sheet名            oneLineSb.append("--");            oneLineSb.append("row" + curRow);            oneLineSb.append("::");            for (String cell : cellList) {                oneLineSb.append(cell.trim());                oneLineSb.append("|");            }            String oneLine = oneLineSb.toString();            if (oneLine.endsWith("|")) {                oneLine = oneLine.substring(0, oneLine.lastIndexOf("|"));            }// 去除最后一个分隔符            System.out.println(oneLine);    }    public static void readExcel(String fileName) throws Exception {        int totalRows =0;        if (fileName.endsWith(EXCEL03_EXTENSION)) { //处理excel2003文件            ExcelXlsReader excelXls=new ExcelXlsReader();            totalRows =excelXls.process(fileName);        } else if (fileName.endsWith(EXCEL07_EXTENSION)) {//处理excel2007文件            ExcelXlsxReader excelXlsxReader = new ExcelXlsxReader();            totalRows = excelXlsxReader.process(fileName);        } else {            throw new Exception("文件格式错误,fileName的扩展名只能是xls或xlsx。");        }        System.out.println("发送的总行数:" + totalRows);    }    public static void main(String[] args) throws Exception {        String path="C:\\Users\\y****\\Desktop\\TestSample\\H_20171226_***_*****_0430.xlsx";        ExcelReaderUtil.readExcel(path);    }}

获取源代码

首先点击右下方在看,再长按下方二维码关注哦,并后台回复

p028】即可获得 GitHub 地址。

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

二维码

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

已在知识星球更新源码解析如下:

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

POI读写超大数据量Excel,解决超过几万行而导致内存溢出的问题(附源码)

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。谢谢支持哟 (*^__^*)

阅读原文

继续阅读
weinxin
资源分享QQ群
本站是一个IT技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
沙海
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: