Python3 + ctypes 回调在简单示例中导致内存泄漏

Question

在使用 ctypes 处理结合 Python 3 代码和 C++ 代码的复杂程序时，我发现内存泄漏可以通过下面的精简示例轻松重现。

我的 C++ 代码使用回调函数创建了一个 Python 对象。接下来，它调用 Python 对象上的另一个回调，该回调仅返回其参数。第二个回调导致对象的引用计数增加。因此，对象永远不会被垃圾收集。

这是 Python 代码（文件 bug.py）：

import ctypes

CreateObjectCallback = ctypes.CFUNCTYPE( ctypes.py_object )

NoopCallback = ctypes.CFUNCTYPE( ctypes.py_object, ctypes.py_object )

lib = ctypes.cdll.LoadLibrary("./libbug.so")

lib.test.restype = ctypes.py_object

lib.test.argtypes = [ CreateObjectCallback, NoopCallback ]

class Foo:

    def __del__(self):

        print("garbage collect foo");

def create():

    return Foo()

def noop(object):

    return object

lib.test(CreateObjectCallback(create), NoopCallback(noop))

这是 C++ 代码（文件 bug.cpp）：

#include <python3.6m/Python.h>

#include <iostream>

#include <assert.h>

extern "C" {

  typedef void *(*CreateObjectCallback)();

  typedef void *(*NoopCallback)(void *arg);

  void *test(CreateObjectCallback create, NoopCallback noop)

  {

    void *object = create();

    std::cerr << "ref cnt = " << ((PyObject*)(object))->ob_refcnt << std::endl;

    object = noop(object);

    std::cerr << "ref cnt = " << ((PyObject*)(object))->ob_refcnt << std::endl;

    return object;

  }

}

这是我用来编译和运行的命令：

g++ -O3 -W -Wextra -Wno-return-type -Wall -Werror -fPIC -MMD   -c -o bug.o bug.cpp

g++ -shared -Wl,-soname,libbug.so -o libbug.so bug.o 

python3 bug.py

输出是：

ref cnt = 1

ref cnt = 2

换句话说，对 noop 函数的调用错误地增加了引用计数，并且 Foo 对象没有被垃圾收集。如果没有调用 noop 函数，Foo 对象就会被垃圾回收。预期的输出是：

ref cnt = 1

ref cnt = 1

garbage collect foo

这是一个已知的问题？有谁知道解决方法或解决方案？这是由 ctypes 中的错误引起的吗？