从 Camera API 函数 takePicture() 获取/转换为 YCbCr_420_SP

Question

我们正在从 takePicture() 函数获取我们的图像——这里我们在这里使用jpeg 回调（第三个参数），因为我们无法获取原始图像——即使在将回调缓冲区设置为最大大小之后也是如此。所以图像被压缩为 JPEG 格式——另一方面，我们需要我们的图像与预览帧的格式相同：YCbCr_420_SP (NV21) （我们使用的第三方库需要这种格式，我们没有重新实现的资源）

我们尝试在使用setPictureFormat()初始化相机时在参数中设置图片格式，但遗憾的是没有帮助。我猜这个函数只适用于原始回调。

我们在 JNI 端可以访问 OpenCV C 库，但不知道如何使用 IplImage 实现转换。

所以目前我们正在使用以下 java 实现进行转换，它的性能非常差（对于尺寸为 3840x2160 的图片大约需要 2 秒）：

byte [] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {

    int [] argb = new int[inputWidth * inputHeight];

    scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);

    byte [] yuv = new byte[inputWidth*inputHeight*3/2];

    encodeYUV420SP(yuv, argb, inputWidth, inputHeight);

    scaled.recycle();

    return yuv;

}

void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {

    final int frameSize = width * height;

    int yIndex = 0;

    int uvIndex = frameSize;

    int R, G, B, Y, U, V;

    int index = 0;

    for (int j = 0; j < height; j++) {

        for (int i = 0; i < width; i++) {

            R = (argb[index] & 0xff0000) >> 16;

            G = (argb[index] & 0xff00) >> 8;

            B = (argb[index] & 0xff) >> 0;

            // well known RGB to YUV algorithm

            Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;

            U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;

            V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

            // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2

            //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other

            //    pixel AND every other scanline.

            yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));

            if (j % 2 == 0 && index % 2 == 0) {

                yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));

                yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));

            }

            index ++;

        }

    }

}

有人知道在 OpenCV C 的帮助下转换会是什么样子，或者可以提供更有效的 Java 实现吗？

Answer 1

有两种方法可以改善您的结果。您可以使用 jpeg-turbo 库直接从 Jpeg 中获取 YUV，函数是 tjDecompressToYUV。您可以使用 renderscript 将位图转换为 YUV。哪一种更适合您，取决于设备。有些将具有用于 Java 的硬件加速 Jpeg 解码器，有些将在软件中使用 libjpeg。在后一种情况下，tjDecompressToYUV 将提供显着的改进。如果您的设备运行 Android-5 或更高版本，请考虑切换到camera2&nbsp;API，ImageReader 可能能够提供所需分辨率和质量的 YUV 或 RAW 图像。