哪种方法限制内存使用：对于大型 blob，SqlReader.GetBytes

Question

我想确定如何限制从本地数据库检索 blob 并通过块将其传输到第三方 Web 服务的作业内的内存使用量。

使用 SqlDataReader，我似乎有两个选择：

1. 创建一个方法，该方法使用带有偏移量的 GetBytes 来检索返回 byte[] 的 blob 的一部分。然后，该方法的调用者将负责发出 Web 请求来传输该块。

2. 创建一个使用 GetStream 的方法，并向 ReadAsync 发出多个请求以填充 byte[] 缓冲区，并使用此缓冲区发出 Web 请求，直到传输文档。

我更喜欢选项 1，因为它限制了该方法的责任，但是如果我使用偏移量调用 GetBytes，它会将整个偏移量加载到内存中还是 sql server 能够仅返回请求的小块？如果我使用选项 2，那么该方法将有两个职责：从数据库加载一个块并发出 Web 请求以将文档存储在其他地方。

// option 1

public async Task<Tuple<int, byte[]>> GetDocumentChunk(int documentId, int offset, int maxChunkSize)

{

    var buffer = new byte[maxChunkSize];

    string sql = "SELECT Data FROM Document WHERE Id = @Id";

    using (SqlConnection connection = new SqlConnection(ConnectionString))

    {

        await connection.OpenAsync();

        using (SqlCommand command = new SqlCommand(sql, connection))

        {

            command.Parameters.AddWithValue("@Id", documentId);

            using (SqlDataReader reader = await command.ExecuteReaderAsync(CommandBehavior.SequentialAccess))

            {

                if (await reader.ReadAsync())

                {

                    int bytesRead = (int)reader.GetBytes(0, offset, buffer, 0, maxChunkSize);

                    return new Tuple<int, byte[]>(bytesRead, buffer);

                }

            }

        }

    }

    return new Tuple<int, byte[]>(0, buffer);

}

//option 2

public async Task<CallResult> TransferDocument(int documentId, int maxChunkSize)

{

    var buffer = new byte[maxChunkSize];

    string sql = "SELECT Data FROM Document WHERE Id = @Id";

    using (SqlConnection connection = new SqlConnection(ConnectionString))

    {

        await connection.OpenAsync();

        using (SqlCommand command = new SqlCommand(sql, connection))

        {

            command.Parameters.AddWithValue("@Id", documentId);

            using (SqlDataReader reader = await command.ExecuteReaderAsync(CommandBehavior.SequentialAccess))

            {

                using (Stream uploadDataStream = reader.GetStream(0))

                {

            }

        }

    }

}

Answer 1

使用选项 1，您将向源发出许多请求以获取数据，并且GetBytes不会在 SQL 服务器上“搜索”流（如果确实如此，我会感到惊讶），这将是一个非常低效的解决方案。IAsyncEnumerable使用选项 2，您可以获得流并按需处理它，因此您将发出单个数据库请求，并获得异步 I/O 的所有好处。使用C# 8 IAsyncEnumerablePreview将完美地解决您的问题，但到目前为止它还处于阶段。复制到异步如果您可以获得需要将内容上传到的流，那么您可以使用CopyToAsync。但我假设每个块都将在单独的请求中上传。如果是这样，您可以引入一个组件，它会像 a 一样发出嘎嘎声，但当数据库流在其上调用 CopyToAsync()Stream时，它实际上会将内容上传到网站：class WebSiteChunkUploader : Stream{     private HttpClient _client = new HttpClient();     public override bool CanWrite => true;     public override bool CanRead => false;     public override async Task WriteAsync(byte[] buffer, int offset, int count, CancellationToken cancellationToken) =>         await _client.PostAsync("localhost", new ByteArrayContent(buffer,offset, count));}老好 IEnumerable不幸的是你不能与yield return混合。但是，如果您决定使用阻塞 api 读取流，例如，那么您可以使用旧的 good 重写它：IEnumerableasync/awaitReadyield returnpublic IEnumerable<Tuple<byte[],int>> TransferDocument(int documentId, int maxChunkSize){    string sql = "SELECT Data FROM Document WHERE Id = @Id";    var buffer = new byte[maxChunkSize];    using (SqlConnection connection = new SqlConnection(ConnectionString))    {        connection.Open();        using (SqlCommand command = new SqlCommand(sql, connection))        {            command.Parameters.AddWithValue("@Id", documentId);            using (SqlDataReader reader = command.ExecuteReader(CommandBehavior.SequentialAccess))            using (Stream uploadDataStream = reader.GetStream(0))            {                while(var bytesRead = uploadDataStream.Read(buffer, 0, maxChunkSize)) > 0)                   yield return Tuple(buffer, bytesRead);            }        }    }}...async Task DoMyTransfer() {  foreach(var buffer in TransferDocument(1, 10000)) {    await moveBytes(buffer)  }}在这种情况下，您不会与 DB 和 fancy 进行异步 IO Tasks，但我想您无论如何都需要限制此上传操作，以免连接导致数据库过载。