如何使用 Commons compress 打包太大并导致内存不足崩溃的文件？

Question

在下面的代码中，如果我给 (Apache) Commons 压缩一个几 GB 大小的单个文件，它将崩溃，因为它耗尽了我的所有内存。

我可以让它一次读取然后写入文件的一小部分吗？我一直在研究分块，但我不知道如何做到这一点，以便我可以在将文件写入 .tar 格式后将文件重新组合在一起。

处理这里任何大小的支持文件的最佳方法是什么？

FileOutputStream fileOutputStream = new FileOutputStream("output.tar");

BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(fileOutputStream);

GzipCompressorOutputStream gzipOutputStream = new GzipCompressorOutputStream(bufferedOutputStream);

TarArchiveOutputStream tarArchiveOutputStream = new TarArchiveOutputStream(gzipOutputStream)) {

tarArchiveOutputStream.setBigNumberMode(TarArchiveOutputStream.BIGNUMBER_POSIX);

tarArchiveOutputStream.setLongFileMode(TarArchiveOutputStream.LONGFILE_GNU);

File currentFile = new File("Huge_MultiGB_File.txt");

String relativeFilePath = currentFile.getPath();

TarArchiveEntry tarEntry = new TarArchiveEntry(currentFile, relativeFilePath);

tarEntry.setSize(currentFile.length());

tarArchiveOutputStream.putArchiveEntry(tarEntry);

tarArchiveOutputStream.write(IOUtils.toByteArray(new FileInputStream(currentFile)));

tarArchiveOutputStream.closeArchiveEntry();

Answer 1

您必须写入文件的一小部分并将其写入循环中的输出，而不是首先将整个文件读取到内存中IOUtils它或多或少是这样完成的：FileInputStream source=new FileInputStream(....somefile);tarArchiveOutputStream; prepared to w writingbyte[] buff = new byte[1024*10]; //10kb buffint numBytesRead = -1; //number of bytes readwhile(( numBytesRead = source.read(buff)) > 0 ) {    // while source has bytes, read from source and write    // the same number of bytes to the tar outputstream    tarArchiveOutputStream.write(buff, 0, numBytesRead);   }}