MongoDB 在负载下运行缓慢

Question

我们使用 mongodb 3.4.14，8 核，32GB RAM。我正在使用 Jmeter 执行负载测试，有 70 个线程我有可接受的输出。但随着负载的增加，SLA 呈指数增长，吞吐量急剧下降。我尝试增加ulimit和分片是下一步，除此之外还有其他我可以做的性能优化吗？

更新

@Jeet，以下是调查结果：

有很多聚合查询吗？你有什么样的收藏结构，即

负载测试在单个聚合查询上运行，并且文档的结构也具有相同的字段集。修复文档大小会有所帮助吗？我该怎么做？

有很多嵌套数组吗？

答：没有嵌套查询。

是单实例还是副本集？尝试将具有读取和写入功能的副本集放置到不同的节点。

目前我们只想在单个节点上运行。

查询是否从多个集合返回数据？

不，只有 1 个集合。

检查您的实例在多少% 的操作中出现页面错误？

对于 500 个用户的负载，我看不到太多页面错误，只有 2 位数字。

在高锁定/队列期间检查您的日志是否有高 nscanned 或 scanAndOrder 操作，并相应地索引。

我该如何检查？

检查您对 CPU 密集型运算符（如 $all、$push/$pop/$addToSet）的查询，以及对大型文档的更新，尤其是对具有大型数组（或大型子文档数组）的文档的更新。

是的，在上述负载下 CPU 已满，响应延迟。我们正在做一个 groupBy，然后按限制排序。

如果您的数据库是写密集型的，请记住，每个数据库一次只能写入一个 CPU（由于该线程持有写锁）。考虑将该数据的一部分移动到其自己的数据库中。

我们的数据库大多是大量读取的，该集合将每天填充一次。

除此之外，我尝试通过将以下代码放入 for 循环来做一个简单的测试：

Document findQuery = new Document("userId", "Sham");

FindIterable<Document> find = collection.find(findQuery);

MongoCursor<Document> iterator = find.iterator();

使用 executor 启动进程：

ExecutorService executorService = Executors.newFixedThreadPool(100);

即使这样，性能也很慢，需要 900 毫秒才能返回。

1 个请求 = 每个请求 150 毫秒

100 个请求 = 每个请求 900 毫秒

Answer 1

这也取决于您发起的查询类型，请检查是否存在以下提到的要点 -有很多聚合查询吗？你有什么样的收藏结构，即有很多嵌套数组吗？是单实例还是副本集？尝试将具有读取和写入功能的副本集放置到不同的节点。查询是否从多个集合返回数据？检查您的实例在多少% 的操作中出现页面错误？在高锁定/队列期间检查您的日志是否有高 nscanned 或 scanAndOrder 操作，并相应地索引。检查您对 CPU 密集型运算符（如 $all、$push/$pop/$addToSet）的查询，以及对大型文档的更新，尤其是对具有大型数组（或大型子文档数组）的文档的更新。如果您的数据库是写密集型的，请记住，每个数据库一次只能写入一个 CPU（由于该线程持有写锁）。考虑将该数据的一部分移动到其自己的数据库中。随着时间的推移，这很少会降低性能。我已经在这里介绍了最常见的用例，但是请查看这篇文章以获取更多见解。

Answer 2

请检查您的硬件是否受到限制，磁盘是系统中最大的瓶颈。要查看硬件是否不受限制：top/htop => cpu percentageiostat -x 1 => sysstat tool to see disk r/w limits (%util)