Google App Engine Go 内存管理

Question

我最近遇到了一个问题，App Engine 会终止我的 Go 实例，因为它说它内存不足。实例的内存限制设置为 128Mb。

但是，我无法弄清楚所有内存分配在哪里。当我运行以下代码时：

var s runtime.MemStats

runtime.ReadMemStats(&s)

c.Debugf("allocated memory: %d", s.Alloc)

它告诉我，当分配的内存达到大约 39-40Mb 时，我的应用程序因以下错误而终止：

总共为 1 个请求提供服务后，超过了 135.082 MB 的软私有内存限制

同样，当runtime.ReadMemStats(&s)指示我使用的是 20 Mb 时，App Engine 控制台会显示我的实例使用的是 92Mb。重做相同的请求，runtime.ReadMemStats(&s)仍然显示 20Mb，而 App Engine 控制台显示 119Mb。

我已经禁用了appstats，仍然没有帮助。

我的大部分内存都被内存缓存耗尽，我可以减少它以适应约束（或增加我的实例的内存限制），但我想知道所有内存都在哪里使用。如果有人可以对此有所了解，或者如何正确地分析 App Engine 上的内存使用情况，那将大有帮助。

Answer 1

根据文档 Alloc字段显示已分配且仍在使用的字节。然而，在垃圾收集语言中，当内存被 GC 释放时，它不会立即返回给系统（它很快就会被再次请求，那么为什么要返回它呢？）。所以你真正需要监控的是Sys字段，它计算从系统获得的字节数。您可能对这篇文章感兴趣，其中有一些关于如何最小化内存使用的见解。

Answer 2

设法在本地重现。下面是一个示例应用程序，它在一个请求中分配一些整数，并在下一个请求中对它们进行垃圾收集：// Package test implements a simple memory test for Google App Engine.package testimport (    "net/http"    "runtime"    "appengine")var buffer []int64func init() {    http.HandleFunc("/", handler)}func handler(w http.ResponseWriter, r *http.Request) {    var s runtime.MemStats    c := appengine.NewContext(r)    if len(buffer) == 0 {        // Allocate 2^22 integers.        runtime.ReadMemStats(&s)        c.Debugf("Memory usage: %d bytes (%d system).", s.Alloc, s.Sys)        buffer = make([]int64, 4*1024*1024)        for i, _ := range buffer {            buffer[i] = int64(i*i)        }        runtime.ReadMemStats(&s)        c.Debugf("Memory usage increased to: %d bytes (%d system).", s.Alloc, s.Sys)    } else {        // Remove all references to the slice pointed to by buffer.        // This should mark it for garbage collection.        runtime.ReadMemStats(&s)        c.Debugf("Memory usage: %d bytes (%d system).", s.Alloc, s.Sys)        buffer = nil        runtime.GC()        runtime.ReadMemStats(&s)        c.Debugf("After GC event: %d bytes (%d system).", s.Alloc, s.Sys)    }    w.WriteHeader(http.StatusTeapot)}使用开发服务器运行时：$ ./go_appengine/dev_appserver.py test2013/09/16 12:28:28 DEBUG: Memory usage: 833096 bytes (272681032 system).2013/09/16 12:28:28 DEBUG: Memory usage increased to: 34335216 bytes (308332616 system).INFO     2013-09-16 12:28:28,884 module.py:593] default: "GET / HTTP/1.1" 418 -2013/09/16 12:28:29 DEBUG: Memory usage: 34345896 bytes (308332616 system).2013/09/16 12:28:29 DEBUG: After GC event: 781504 bytes (308332616 system).INFO     2013-09-16 12:28:29,560 module.py:593] default: "GET / HTTP/1.1" 418 -2013/09/16 12:28:30 DEBUG: Memory usage: 791616 bytes (308332616 system).2013/09/16 12:28:30 DEBUG: Memory usage increased to: 34337392 bytes (308332616 system).INFO     2013-09-16 12:28:30,276 module.py:593] default: "GET / HTTP/1.1" 418 -2013/09/16 12:28:36 DEBUG: Memory usage: 34347536 bytes (308332616 system).2013/09/16 12:28:36 DEBUG: After GC event: 783632 bytes (308332616 system).INFO     2013-09-16 12:28:36,224 module.py:593] default: "GET / HTTP/1.1" 418 -看来内存分配和垃圾收集工作正常。但是，查看ps输出，似乎释放内存并没有减少进程的虚拟内存使用：$ ps axo command,vsize,rss | ag go_app/usr/bin/python2.7 ./go_app 381248 56608$ ps axo command,vsize,rss | ag go_app/usr/bin/python2.7 ./go_app 676324 57652$ ps axo command,vsize,rss | ag go_app/usr/bin/python2.7 ./go_app 750056 57856$ ps axo command,vsize,rss | ag go_app/usr/bin/python2.7 ./go_app 750056 57856似乎运行底层 Go 实例的 Python 进程不断增加其虚拟内存，但它从未被释放。在生产服务器上似乎也发生了类似的事情：实例运行时报告的分配内存与内核报告的已使用内存不同。