AWS / Lambda / Java 上的 Elasticsearch 客户端

Question

我们使用 AWS Lambda (Java) 和 elasticsearch 客户端连接到 AWS 上托管的 elasticsearch 实例。我在第一个请求上遇到了大约 2.5 秒的长时间等待（在冷启动之上）。之后它非常快。我真的不知道这个延迟是从哪里来的，我正在尝试优化它。

private void testPerformanceElasticSearch() throws Exception {

        log.info("1. Before testing elasticsearch client");

        AWS4Signer signer = new AWS4Signer();

        signer.setServiceName("es");

        signer.setRegionName("eu-west-1");

        HttpRequestInterceptor interceptor = new AWSRequestSigningApacheInterceptor("es", signer, new DefaultAWSCredentialsProviderChain());

        String endpoint = "https://" + Utils.getEnvironmentVariable("ELASTIC_SEARCH_ENDPOINT");

        RestHighLevelClient restHighLevelClient = new RestHighLevelClient(RestClient.builder(HttpHost.create(endpoint)).setHttpClientConfigCallback(hacb -> hacb.addInterceptorLast(interceptor)));

        log.info("2. After getting elasticsearch client");

        log.info("3. Before doing a elasticsearch query");

        log.info("4");

        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();

        log.info("5");

        TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("userId", "abc");

        log.info("6");

        boolQueryBuilder.must(termsQueryBuilder);

        log.info("7");

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        log.info("8");

        searchSourceBuilder.query(boolQueryBuilder);

        log.info("9");

        SearchRequest searchRequest = new SearchRequest("users");

        log.info("10");

        searchRequest.source(searchSourceBuilder);

        log.info("11");

        restHighLevelClient.search(searchRequest);

        log.info("12");

        log.info("13. After testing elasticsearch");

}

关于如何改进这一点的任何建议？

Answer 1

问题是在第一个请求（真正的请求，而不是预热请求，因为预热请求不会通过您的应用程序代码，它不会触发加载实际请求路径中使用的类）JVM 加载（读取、解析、验证等...）相关类，初始化安全组件（密码等...）并完成 TLS 握手（需要多个 RTT，使用 Java 9 和 TLS 1.3，这应该减少）。首次 AWS 服务调用（DynamoDB、SQS 等）也出现了类似的长时间行为由于我是 Thundra 预热插件的作者，我正在考虑为预热消息引入挂钩点，因为自定义操作将能够执行，如初始化安全组件、加载类等......

Answer 2

VPC 内的 Lambda 函数对启动时间有很大影响。您说您的 ES 是托管实例，所以我假设它由 VPC 支持。即使不在 VPC 中，Java 冷启动通常也比 Node 或 Python 等运行时长，因为需要先启动 JVM。这主要是您的 2.5 秒的来源。好的。如何解决问题？这取决于 ElasticSearch 需要多少并发连接。如果一个函数能够处理所有传入请求，那么您可以将 Lambda 函数的并发执行限制为 1，因此您可以确保始终访问同一个容器（只要这些请求是在 ±5 分钟内发出的）大体时间）。现在，如果您事先不知道将执行多少并发 Lambda 函数，那么您就没有出路了。您可以尝试预先预热您的 Lambda 函数，但是您需要同时触发 100 个请求来预热 100 个不同的容器。当我浏览 Lambda 函数的并发模型以及冷/热启动如何工作时，请检查此答案。如果您有更多信息要分享或者我不够清楚，我很乐意编辑我的答案。