缓冲文件（用于更快的磁盘访问）

Question

缓冲文件（用于更快的磁盘访问）

我正在处理大文件，直接写入磁盘很慢。因为文件很大，我无法在TMemoryStream中加载它。

TFileStream没有缓冲，所以我想知道是否有一个可以提供缓冲流的自定义库，或者我是否应该只依赖OS提供的缓冲。OS缓冲是否可靠？我的意思是如果缓存已满，可以从缓存中刷新旧文件（我的）以便为新文件腾出空间。

我的文件在GB范围内。它包含数百万条记录。不幸的是，记录不是固定大小。所以，我必须做数百万的读数（4到500字节之间）。阅读（和写作）是顺序的。我不会上下跳进文件（我认为这是缓冲的理想选择）。

最后，我必须将这样的文件写回磁盘（再次写入数百万的小写）。

---

对David Heffernan赞不绝口！
David提供了一段很棒的代码，提供缓冲磁盘访问。
人们你必须拥有他的BufferedFileStream！这是黄金。并且不要忘记upvote。
谢谢大卫。

   Speed tests:
     Input file: 317MB.SFF
     Delphi stream: 9.84sec
     David's stream: 2.05sec     ______________________________________

   More tests:
     Input file: input2_700MB.txt
     Lines: 19 millions
     Compiler optimization: ON
     I/O check: On
     FastMM: release mode     **HDD**   

     Reading: **linear** (ReadLine) (PS: multiply time with 10)      
      We see clear performance drop at 8KB. Recommended 16 or 32KB
        Time: 618 ms  Cache size: 64KB.
        Time: 622 ms  Cache size: 128KB.
        Time: 622 ms  Cache size: 24KB.
        Time: 622 ms  Cache size: 32KB.
        Time: 622 ms  Cache size: 64KB.
        Time: 624 ms  Cache size: 256KB.
        Time: 625 ms  Cache size: 18KB.
        Time: 626 ms  Cache size: 26KB.
        Time: 626 ms  Cache size: 1024KB.
        Time: 626 ms  Cache size: 16KB.
        Time: 628 ms  Cache size: 42KB.
        Time: 644 ms  Cache size: 8KB.      <--- no difference until 8K
        Time: 664 ms  Cache size: 4KB.
        Time: 705 ms  Cache size: 2KB.
        Time: 791 ms  Cache size: 1KB.
        Time: 795 ms  Cache size: 1KB.

      **SSD**
      We see a small improvement as we go towards higher buffers. Recommended 16 or 32KB
        Time: 610 ms  Cache size: 128KB.
        Time: 611 ms  Cache size: 256KB.
        Time: 614 ms  Cache size: 32KB.
        Time: 623 ms  Cache size: 16KB.
        Time: 625 ms  Cache size: 66KB.
        Time: 639 ms  Cache size: 8KB.       <--- definitively not good with 8K
        Time: 660 ms  Cache size: 4KB.
     ______

Answer 1

在TFileStream类内部使用CreateFile，它总是使用缓冲区来管理文件，除非你指定的功能FILE_FLAG_NO_BUFFERING标志（注意这直接使用TFileStream的，你不能指定该标志）。有关更多信息，您可以查看这些链接CreateFile函数Windows File Buffering您也可以尝试使用Primoz Gabrijelcic TGpHugeFileStream的GpHugeFile单元。