Java POI读取大文件慢如何优化？

高效处理java poi读取大文件难题

在使用java poi处理大型excel文件时，常常会遇到读取速度缓慢的问题，严重影响程序性能。本文将针对“java poi打开大文件慢的优化方法？”这一问题，探讨几种可行的解决方案，帮助开发者提升程序效率。

问题在于java poi 默认会将整个excel文件加载到内存中，对于大型文件而言，这会导致内存占用过高，甚至出现outofmemoryerror，并极大拖慢读取速度。 因此，需要采用优化策略来解决这个问题。

主要有两种方法可以有效提升读取大文件的效率：

方案一：使用xlsx-streamer实现分段读取

xlsx-streamer是一个基于poi的库，它采用分段缓存的方式加载数据，避免一次性将整个文件加载到内存中。通过streamingreader，可以创建一个缓冲区，批量读取文件内容。 这使得程序可以处理远大于内存容量的大型excel文件。

首先需要引入xlsx-streamer的依赖：

    org.apache.poi
    poi-ooxml
    ${poi.version}



    com.monitorjbl
    xlsx-streamer
    2.1.0

以下是一个使用xlsx-streamer读取大型excel文件的示例代码：

    public static void readlagerexcel(file file) throws exception {
        inputstream inputstream = new fileinputstream(file);
        long start = system.currenttimemillis();
        try (workbook workbook = streamingreader.builder()
                .rowcachesize(10 
* 10)  //缓存到内存中的行数，默认是10
                .buffersize(1024 * 4)  //读取资源时，缓存到内存的字节大小，默认是1024
                .open(inputstream)) { //打开资源，可以是inputstream或者是file，注意：只能打开.xlsx格式的文件

            sheet sheet = workbook.getsheetat(0);
            log.info("==读取excel完毕，耗时：{}毫秒，", system.currenttimemillis() - start);
            //遍历所有的行
            for (row row : sheet) {
                system.out.println("开始遍历第" + row.getrownum() + "行数据：");
                //遍历所有的列
                for (cell cell : row) {
                    system.out.print(cell.getstringcellvalue() + " ");
                }
                system.out.println(" ");
            }
            //总数
            system.out.println("读取结束行数：" + sheet.getlastrownum());
        }
    }

使用该方法处理40万级别的数据，耗时大约5.4秒。

方案二：使用easyexcel进行优化

easyexcel是阿里巴巴开源的一个基于poi的excel处理工具，它对poi进行了封装和优化，能够有效解决大文件读取时内存溢出的问题。 easyexcel 提供了更高效的读取和写入方式，尤其适合处理海量数据。

需要引入easyexcel的依赖：

    com.alibaba
    easyexcel
    3.1.0

以下是一个简单的easyexcel读取示例：

  public static void readExcelByEasyExcel(File file) {
      long start = System.currentTimeMillis();
      List excelDataList = EasyExcel.read(file).head(ExcelData.class).sheet(0).doReadSync();
      excelDataList.stream().forEach(x -> System.out.println(x.toString()));
      log.info("==读取excel完毕，耗时：{}毫秒，", System.currentTimeMillis() - start);
  }

这两种方案都可以有效提高java poi处理大文件的效率，选择哪种方案取决于具体的应用场景和需求。