如何在 Python Linux 中使用内存映射文件

Question

正如我在 Python 文档中看到的那样，

Linux 中的 Python 可以完全支持内存映射文件。然而，当我试图将这个想法应用到我的应用程序中时。我无法运行示例。

我的应用程序是将帧从 Python 文件（客户端）发送到另一个 Python 文件（服务器）。

客户代码

import mmap

import time

import os

import cv2 as cv

print("Opening camera...")

cap = cv.VideoCapture('/home/hunglv/Downloads/IMG_8442.MOV')

mm = None

try:

    while True:

        ret, img = cap.read()

        if not ret:

            break

        if mm is None:

            mm = mmap.mmap(-1,img.size,mmap.MAP_SHARED, mmap.PROT_WRITE)

        # write image

        start = time.time()

        buf = img.tobytes()

        mm.seek(0)

        mm.write(buf)

        mm.flush()  

        stop = time.time()

        print("Writing Duration:", (stop - start) * 1000, "ms")

except KeyboardInterrupt:

    pass

print("Closing resources")

cap.release()

mm.close()

服务器代码

import mmap

import time

import os

import cv2 as cv

import numpy as np

shape = (1080, 1920, 3)

n = np.prod(shape)

mm = mmap.mmap(-1, n)

while True:

    # read image

    print (mm)

    start = time.perf_counter()

    mm.seek(0)

    buf = mm.read(12)

    img = np.frombuffer(buf, dtype=np.uint8).reshape(shape)

    stop = time.perf_counter()

    print("Reading Duration:", (stop - start) * 1000, "ms")

    cv.imshow("img", img)

    key = cv.waitKey(1) & 0xFF

    key = chr(key)

    if key.lower() == "q":

        break

cv.destroyAllWindows()

mm.close()

在服务器端，我将内存索引设置为 0，并尝试从内存中读取字节。但是，服务器似乎无法正确读取客户端的数据。

[更新] 我试图在服务器端读出前 12 个字节。该值是恒定的，不再改变。

b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

此外，随机帧的前 12 个字节是

b'\xf5\xff\xff\xf0\xfa\xfe\xdf\xe9\xed\xd2\xdc\xe0'

Answer 1

首先，我找到了可能有效但它使用的示例tagName（客户端和服务器相同），这意味着它仅适用于 Window：python-mmap-ipc接下来我找到了适用于 Linux 的代码：使用 mmap 在进程之间共享 Python 数据。它在磁盘上创建真实文件，将其大小调整为图像大小，然后使用它的fdinmmap()我使用网络摄像头进行测试。服务器import mmapimport timeimport osimport cv2print("Opening camera...")cap = cv2.VideoCapture(0)#print(cap.get(cv.CAP_PROP_FRAME_WIDTH))  # 640#print(cap.get(cv.CAP_PROP_FRAME_HEIGHT)) # 480shape = (480, 640, 3)n = (480*640*3)fd = os.open('/tmp/mmaptest', os.O_CREAT | os.O_TRUNC | os.O_RDWR)#os.write(fd, b'\x00' * n)  # resize fileos.truncate(fd, n)  # resize filemm = Nonetry:    while True:        ret, img = cap.read()                if not ret:            break                if mm is None:            mm = mmap.mmap(fd, n, mmap.MAP_SHARED, mmap.PROT_WRITE)  # it has to be only for writing        # write image        start = time.perf_counter()                buf = img.tobytes()        mm.seek(0)        mm.write(buf)        mm.flush()                stop = time.perf_counter()        print("Writing Duration:", (stop - start) * 1000, "ms")except KeyboardInterrupt:    passprint("Closing resources")cap.release()mm.close()客户import mmapimport timeimport osimport cv2import numpy as npshape = (480, 640, 3)n = (480*640*3)fd = os.open('/tmp/mmaptest', os.O_RDONLY)mm = mmap.mmap(fd, n, mmap.MAP_SHARED, mmap.PROT_READ)  # it has to be only for readingwhile True:    # read image    start = time.perf_counter()        mm.seek(0)    buf = mm.read(n)    img = np.frombuffer(buf, dtype=np.uint8).reshape(shape)        stop = time.perf_counter()    print("Reading Duration:", (stop - start) * 1000, "ms")    cv2.imshow("img", img)    key = cv2.waitKey(1) & 0xFF    key = chr(key)    if key.lower() == "q":        break    cv2.destroyAllWindows()mm.close()顺便说一句：可能mmap()与-1（不在磁盘上创建文件）可以与线程（或分叉）一起工作，因为它们共享相同的内存。