Titan RTX 上双精度和单精度的矩阵乘法基准测试

Question

我试图了解我们的 GPU 工作站的单精度和双精度之间的性能差异。

我们的工作站配备了两个 TITAN RTX GPU，但我在单个 Titan RTX 上运行基准测试。我正在使用 cublas 矩阵乘法测试性能。我将由随机浮点数或双精度数组成的 8192x8192 矩阵相乘。为了确保我这边没有错误，我还在Python中使用cupy库重复了这个过程，结果非常相似。

浮点型的测试结果约为每 1 次乘法 75 毫秒，双精度型的测试结果约为 2,000 毫秒。

如果我有一个较旧的 GPU，这将很有意义，因为 75*32 = 2,400~2000，因此我的双精度性能将比 https://docs.nvidia 表中预期的差约 32 倍。

然而，我的 GPU 的计算能力为 7.5，因此我预计性能只会翻倍 2 倍。

其他信息：Ubuntu 18 LTS、nvcc 10.2、驱动程序 440.82。

这是 CUDA 代码：

#include <iostream>

#include <chrono>

#include <string>

#include <cuda_runtime.h>

#include "cublas_v2.h"

#include <math.h>

#include <stdio.h>

#include <cuda.h>

#include <device_functions.h>

#include <sstream>

#include <time.h>

unsigned long mix(unsigned long a, unsigned long b, unsigned long c)

{

    a=a-b;  a=a-c;  a=a^(c >> 13);

    b=b-c;  b=b-a;  b=b^(a << 8);

    c=c-a;  c=c-b;  c=c^(b >> 13);

    a=a-b;  a=a-c;  a=a^(c >> 12);

    b=b-c;  b=b-a;  b=b^(a << 16);

    c=c-a;  c=c-b;  c=c^(b >> 5);

    a=a-b;  a=a-c;  a=a^(c >> 3);

    b=b-c;  b=b-a;  b=b^(a << 10);

    c=c-a;  c=c-b;  c=c^(b >> 15);

    return c;

}

using namespace std;

int main()

{

        int deviceCount;

        cudaGetDeviceCount(&deviceCount);

        cudaDeviceProp deviceProp;

        cublasStatus_t err;

        cudaGetDeviceProperties(&deviceProp, 0);

        printf("Detected %d devices \n", deviceCount);

        printf("Device %d has compute capability %d.%d:\n\t maxshmem %d. \n\t maxthreads per block %d. \n\t max threads dim %d. %d. %d.\n ", 0,

                deviceProp.major, deviceProp.minor, deviceProp.sharedMemPerBlock, deviceProp.maxThreadsPerBlock, deviceProp.maxThreadsDim[0],

                deviceProp.maxThreadsDim[1], deviceProp.maxThreadsDim[2]);

        cudaEvent_t start_d, stop_d;

        cudaEventCreate(&start_d);

        cudaEventCreate(&stop_d);

        //RND insicialization

        unsigned long seed = mix(clock(), time(NULL), 0);

       srand(seed);

        int N=8192;

        int Nloops=2;

                }

}

Answer 1

好的，有一个脚注表示，对于计算能力 7.5（此处的情况），性能为 2，但不是 32，对于浮点数，性能为 64，这意味着乘法加加双精度数的运算比浮点数慢 32 倍。如果 float 和 double 问题都完全受算术限制，我预计速度减慢约为 32。实际上，减速幅度略小（2000/75 ~ 27），这可能是浮动带宽受限问题的结果，也可能与其他因素有关。