JAVA使用POI如何导出百万级别数据

经常使用Excel的人应该都能知道excel2007及以上版本可以轻松实现存储百万级别的数据,但是系统中的大量数据如何能够快速准确的导入到excel中这好像是个难题,对于一般的web系统,我们为了解决成本,基本都是使用的入门级web服务器tomcat,jdk在32为系统中支持的内存不能超过2个G,但是在64为中没有限制,但是在64位的系统中,性能并不是太好,所以为了解决上诉问题,我们要针对我们的代码来解决我们要解决的问题,在POI3.8之后新增加了一个类,SXSSFWorkbook,它可以控制excel数据占用的内存,他通过控制在内存中的行数来实现资源管理,当超过了设定的行数,他会自动刷新内存,将数据写如文件。但有人会说了,我用过这个类啊,他好像并不能完全解决,当数据量超过一定后还是会内存溢出的,而且时间还很长。对你只是用了这个类,但是你并没有针对你的需求进行相应的设计,仅仅是用了,所以接下来我要说的问题就是,如果通过SXSSFWorkbook以及相应的写入设计来实现百万级别的数据快速写入。

我先举个例子,以前我们数据库中存在大量的数据,我们要查询,怎么办?我们在没有经过设计的时候是这样来处理的,写一个集合,然后执行jdbc,将返回的结果赋值给list,然后在返回到页面上,但是当数据量大的时候,会出现数据无法返回,内存溢出的情况,于是我们在有限的时间和空间下,通过分页将数据一页一页的显示出来,这样可以避免了大数据量数据对内存的占用,也提高了用户的体验性,在我们要导出的百万数据也是一个道理,内存突发性占用,我们可以限制导出数据所占用的内存,我们建立一个容器,这个容器是一个list,list中开辟10000行的存储空间,每次存储10000行,用完了将内容清空,,然后重复利用,这样就可以有效控制内存,所以我们的设计思路就基本形成了,所以分页数据导出共有以下3个步骤:

通过以上步骤在效率和用户体验性上都有了很高的提高,接下来上代码

public void exportAmountExcelData(ValueDataDto valueDataDto,String path) throws IOException {SXSSFWorkbook wb = new SXSSFWorkbook(15);Sheet sh = wb.createSheet();Row row = sh.createRow(0);// ————————————————–Cell cel0 = row.createCell(0);cel0.setCellValue("1");Cell cel2 = row.createCell(1);cel2.setCellValue("2");Cell cel3 = row.createCell(2);cel3.setCellValue("3");Cell cel4 = row.createCell(3);// ——————定义表头—————————————-List<ValueDataBean> list = new ArrayList<ValueDataBean>();int page_size = 10000;// 数据库中存储的数据行数int list_count = this.daoUtils.queryListCount(this.valueDataDao.queryExportSQL(valueDataDto).get("count_sql"));int export_times = list_count % page_size > 0 ? list_count / page_size+ 1 : list_count / page_size;for (int j = 0; j < export_times; j++) {list = this.valueDataDao.queryPageList(this.valueDataDao.queryExportSQL(valueDataDto).get("list_sql"), j + 1,page_size);int len = list.size() < page_size ? list.size() : page_size;for (int i = 0; i < len; i++) {Row row_value = sh.createRow(j * page_size + i + 1);Cell cel0_value = row_value.createCell(0);cel0_value.setCellValue(list.get(i).getaa());Cell cel2_value = row_value.createCell(1);cel2_value.setCellValue(list.get(i).getaa());Cell cel3_value = row_value.createCell(2);cel3_value.setCellValue(list.get(i).getaa_person());}list.clear();}FileOutputStream fileOut = new FileOutputStream(path);wb.write(fileOut);fileOut.close();wb.dispose();}

版权声明:本文为博主原创文章,未经博主允许不得转载。

有勇气并不表示恐惧不存在,而是敢面对恐惧、克服恐惧

JAVA使用POI如何导出百万级别数据

相关文章:

你感兴趣的文章:

标签云: