1. 问题

对于千万级excel数据导入功能，可能会遇到一些问题，我们先聊聊会到哪些问题。

1.1 单个Sheet存不了

我们都知道excel的一个Sheet，对于2003版，最大行数是65536行，对于2007以上版本，最大行数是1048576行。

由此可见，千万级的数据是没法保存到excel的单个Sheet当中的。

那我们该怎么办呢？

1.2 出现OOM问题

即使我们想办法，把一千万的数据保存到excel当中了，但如果程序在导入数据时，将这些数据加载到内存中，内存会直接爆掉，出现OOM问题。

我们又该怎么办呢？

1.3 导入耗时太长

如果你在程序中使用单个线程，在循环中一个个将excel的数据写入到数据库，会有大量的远程IO操作，极有可能会导致该excel程序导入耗时很长。

如何优化excel的导入性能呢？

1.4 丢数据了

如果excel中有1000万的数据，但是你导入数据的数据只有995万，少了5万数据。

如何快速查询哪些数据导入失败了呢？

如何处理异常数据呢？

1.5 CPU使用率过高

如果我们将excel改成多线程导入，并且每个线程导入时间非常短，可能会导致线程之间在不停的切换上下文，可能会导致CPU使用率过高问题。

这时又该怎么办呢？

带着这些问题，开始今天的文章之旅。

2. EasyExcel

导入海量数据的Excel文件，最大的问题莫过于程序出现OOM了。

一旦出现OOM，程序将会直接挂掉。

为了防止出现OOM问题，建议使用阿里开源的excel导入导出工具：EasyExcel。

EasyExcel采用流式读取方式，我们可以直接从Excel文件中进行读取数据，不需要加载整个Excel文件到内存中。

例如下面这段代码：

public void readExcel(String filePath) {
    EasyExcel.read(filePath, MySheet.class, new MySheetListener()).sheet().headRowNumber(1).doRead();
}


public class MySheetListener extends AnalysisEventListener {
    private static final int DATA_SIZE = 100000;
    private List dataList = new ArrayList<>();


    @Override
    public void invoke(MySheet data, AnalysisContext context) {
        dataList.add(data);
        if (dataList.size() >= DATA_SIZE) {
            saveData(dataList);
            dataList.clear();
        }
    }


    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        saveData(dataList);
    }


    private void saveData(List dataList) {
        //保存数据
    }
}

for(Entity entity: dataList) {
   //业务逻辑处理
   doBusiness(entity);
   //将数据保存到数据库
   save(entity);
}

@Resource(name="dataSource")
  private DataSource dataSource;


  /* JDBC 的批量操作 */
  @Test
  public void insertBatch()  {
      Connection connection=dataSource.getConnection();
      connection.setAutoCommit(false);
      String sql="insert into test(a,b, c, d, d, f, g, , i) " +
              "   values(?,?,?,?,?,?,?,?,?) ";


      PreparedStatement statement=connection.prepareStatement(sql);
      for (int i = 0; i < 1000 ; i++) {
          statement.setString(1, "aaa"+i);
          statement.setString(2, "bbb"+i);
          statement.setInt(3, i);
          statement.setInt(4, i);
          statement.setString(5, ""+i);
          statement.setString(6, "ddd"+i);
          statement.setString(7, "eee"+i);
          statement.setString(8, "fff"+i);
          statement.setString(9, "ggg"+i);
          statement.addBatch();
      }
      long start=System.currentTimeMillis();
      statement.executeBatch();
      connection.commit();
      connection.close();
      statement.close();
  }