java导出1000个07版本的excel，时间过长该如何优化？

Question

1.目前使用poi导出excel表格，之前用03版本可以导出2000条左右，现在换成07版本，只能导出900条左右。测试后发现导出07版本的excel花费的时间大概是03版本的3倍左右。

2.项目设置30s超时，从数据库查出来的1条数据对应一张excel，不用考虑多的sheet页，业务不允许。

3.目前是导出excel到临时文件夹，然后从临时文件夹中打包成zip包。

4.目前想法是从数据库中读取的数据转换成输出流然后存在缓存管理类中。但是输出流还要写到excel中。就是无论怎样都会进行磁盘交互。最后是要打成zip包的。这个过程如何实现呢？

Answer 1

楼上说的多线程的方法你试过了吗？你确定你的程序已经出现了I/O瓶颈，你写出的单个excel数据都不小吗？如果多线程写出1000个不大的txt文件，应该是不会花多少时间的，raid5的磁盘写出速度好几百M/s还是有的吧，所以感觉是生成excel文件花了比较多的计算时间。当然我也不确定，只是感觉可以试一下多线程。如果你想使用不写出到磁盘，直接在内存中生成最后的.zip文件的话，你也可以试一试。据我了解poi生成excel文件，最后也是写出到文件输出流；你可以在这一步改为输出到ByteArrayOutputStream，先把这个excel文件的流存在字节数组中；然后对每一个excel文件的流，新建一个zip entry，加入到你最终写出zip文件中的流去里（zip entry好像可以直接读入流创建，你可以试一下）；整个过程中，不用写出中间的excel文件，而只用写出最终包含了1000个excel文件的zip文件就可以了。

Answer 2

zip entry的文件名好像可以自己定义的，不过具体还是要查查api

Answer 3

目前的程序的瓶颈是I/O交互。我需要读取多次本地模板，然后处理，之后导出1000份excel再打包。目前的处理方法是，将模板在程序里渲染，省去了一半的时间（读取模板的时间）。而多线程处理该程序是有问题的：原因如下：程序瓶颈是i/o,采用多线程会造成多次的磁盘寻址，会极大的降低效率。cpu处理指令的速度和磁盘寻址的速度大概是百万级。另外分享下，07版本的excel导出和03版本的excel效率差了3倍。