Go - 在用于负载测试的高性能 http 客户端中，如何阻止/忽略所有 cookie？

Question

我正在为我的公司创建工具来对我们的系统进行负载测试。我目前有用 Python 编写的工具，但我正在探索使用 Go 的选项，希望能够提高效率和性能，因为我们需要同时生成数百万个用户（每个盒子有数千个用户）并且每一点都很重要。我的用户主要对我们的系统进行 http 调用，我需要一个非常轻量且高效的 http 客户端。

对于我们的Python工具，以前的员工有一些手动处理和重用套接字的功能，并且完全忽略了cookie。虽然我对 Go 完全陌生，但到目前为止我已经比较了多种 Go 网络实现，并且我对 CPU 和网络使用情况感到满意，因此我认为我还不需要手动管理套接字，但是RAM 使用量比我们的 Python 解决方案高出数倍。我怀疑这是由于这些 Go 实现自动维护和管理 cookie，因为其他更高级别的 Python 库也做了同样的事情。我正在寻找方法让我的http客户端禁用/阻止/忽略所有cookie来解决我的问题或排除cookie作为我的内存膨胀的罪魁祸首。

我使用了一个简单的net/http Get()调用fasthttp来创建一个客户端，该客户端重用每个主机的不同数量的连接（1000+），并创建一个net/http.Client带或不带自定义Transport. 我已经习惯了pprof记住每一个配置文件。在不覆盖 cookie 的情况下，我的 http.Client 流程似乎内存膨胀最少，而 fasthttp 内存膨胀最多。我尝试浏览他们的所有文档并搜索 SO 和网络，但找不到任何明确忽略或阻止 cookie 的内容。我发现最接近的是用于请求和响应的 fasthttp DelAllCookies()，但是调用它们对内存使用没有明显的影响。我已经研究过net/http/cookiejar设置自定义 jar 和策略net/http.Client但这看起来更像是一种存储和使用 cookie 数据的方法，我不想这样做，而且我没有看到一种方法来设置完全忽略 cookie 的策略。

同样，这些可以正常工作，但是当我使用boomer同时运行数千个这些时，我最终会使用多个 GB 的 RAM，而我们的 Python 套接字实现则使用 1-1.5 GB 的 RAM。我如何阻止/忽略 cookie，或者确保 cookie 不会耗尽我的所有内存？

Answer 1

Fasthttp 总是将完整的响应加载到内存中。因此，如果您有较大的响应主体并希望限制内存使用，那么它可能不是您的最佳解决方案。Fasthttp 还通过将缓冲区保留在内存中并重用它来以内存使用换取 CPU 使用，而不是花费 CPU 周期让垃圾收集器收集这些缓冲区。使用多个 GB 内存似乎很多。在这种情况下，您正在查看 RSS 还是虚拟内存？

Answer 2

cookie 只是响应中包含的标头。您无法阻止服务器返回标头。你只能接受并在记忆中阅读。虽然浏览器可以禁用本地 cookie，但仍然无法阻止服务器返回带有 set-cookie 标头的标头。至于Fasthttp，我看了一些源代码，发现它使用了很多同步。Pool是为了提高性能，但是我没有发现它的目的是为了节省内存。它的目的只是为了快。如果你非常看重内存，我建议干脆把它包在http/net上或者另找一个包，而不是使用fasthttp，因为fasthttp不适合压力测试。