在什么情况下,看起来像python内存泄漏的问题可能不是泄漏?

我们有一个使用PyXB和其他库的python脚本,该脚本处理大量XML和JSON数据,并且该脚本消耗的RAM量不断增加,直到机器内存耗尽。

除了内存泄漏之外,是否还有其他情况可能导致这种高内存使用率?


茅侃侃
浏览 100回答 1
1回答

慕尼黑的夜晚无繁华

在我们的例子中,看起来像泄漏的原因是我们的python代码消耗RAM的速度比python垃圾回收器愿意清理垃圾的速度快。在我们的例子中,解决方案是在脚本中每个工作单元结束时强制进行手动垃圾回收,如下所示:gc.collect()这让内存得到了控制。证明似乎正在泄漏的特定代码没有泄漏,并通过 tracemalloc 库进行了确认。收集垃圾,拍摄快照,然后比较前后快照,以证明没有分配额外的内存。for _ in range(10000):    gc.collect();    snapshot1 = tracemalloc.take_snapshot()    response = test_parsing("assets.xml")    del response    gc.collect();    snapshot2 = tracemalloc.take_snapshot()    top_stats = snapshot2.compare_to(snapshot1, 'lineno')    print("[ Non Zero differences ]")    for stat in top_stats:        if (stat.size_diff != 0):            print(stat)在我们的例子中,上面的非零差异列表在每次迭代后都是空的,证明没有泄漏。
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python