Log4J2 JsonLayout 打印出类、方法和行以及 @timestamp 覆盖

Question

所以我们有一个应用程序，我们将把它的所有日志发送到 Kibana 服务器（通过 Kafka 服务器）。

以下是我们设法开始工作的基础知识，发布到 Kibana 没有问题：

        <Kafka name="KafkaAppender" topic="topic1">

        <JsonLayout compact="true">

            <KeyValuePair key="service" value="some_app_tag"/>

            <KeyValuePair key="@timestamp" value="${date:yyyy-MM-dd HH:mm:ss.SSS}"/>

            <KeyValuePair key="host_name" value="${hostName}"/>

            <KeyValuePair key="unique_id" value="$${map:name:-NA}"/>

    </JsonLayout>

        <Property name="bootstrap.servers">kafka1.com:9092,kafka2.com:9092,kafka3.com:9092</Property>

    </Kafka>

然而，我们发现很难在 中打印出类、方法和行号，JsonLayout以便它可以被 elasticSearch 索引，因此可以在 Kibana 中作为一个字段进行搜索。

我们为这 3 个字段尝试了各种语法组合/变体，例如%c{2},%M和%LLine - 它们都按字面意义打印出来，作为我们尝试放入的变量。

在 Console Appender 中，它们使用： <pattern>%23.23d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] [$${map:name:-NA}] %c{1}.%M(%F:%L): %highlight{%m%n%throwable}</pattern>

"$${map:name:-NA}" 是我们添加的东西，用于添加可以根据用户收到的错误消息搜索的唯一错误 ID，它由以下内容设置：

    StringMapMessage mapMsg = new StringMapMessage();

    mapMsg.put("name", "arun");

    LOGGER.fatal(mapMsg);

这有效，我们唯一的问题是

在 JSON 中为 Kafka 输入输出类、行和方法

到目前为止，我们无法覆盖 Kibana 的@timestamp字段，因此它包含 log4j 生成的时间戳，以便我们可以可靠地按生成日志的时间/日期排序（否则，如果它们以随机顺序出现，它们会令人困惑） - 当我们添加了@标志，Kibana 添加了一个标签，如_timestampparsefailure，并显示提交@timestamp的_@timestamp，而不是使用它来覆盖它生成的时间戳。

任何人都可以请教吗？我们已经搜索了很远很远，到目前为止还没有找到任何接近的东西。

谢谢。

Answer 1

将 "locationInfo="true" " 添加到 Log4j2 配置文件中的 JSON 属性： 例如：<JsonLayout&nbsp;complete="false"&nbsp;locationInfo="true"&nbsp;properties="true"&nbsp;propertiesAsList="true"&nbsp;eventEol="true">

Answer 2

我们还没有找到制作JsonLayout输出类、行和方法的方法，我们采用的解决方法是实现我们自己的布局，基本上创建一个新的自定义布局插件，因为它基本上是 JsonLayout 类的副本，并增加了对模式的支持：@Plugin(name = "CustomJsonLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)public final class CustomJsonLayout extends AbstractJacksonLayout {其中在其构造函数中添加了参数：final boolean stacktraceAsString,final boolean includeNullDelimiter,final KeyValuePair[] additionalFields,final boolean objectMessageAsJsonObject然后当然也将它们添加到super呼叫中。最大的变化是通过覆盖该toSerializable(final LogEvent event, final Writer writer)方法并添加私有方法customFunctionToApplyPatternConversion，该方法看起来类似于：Object wrappedEvent = wrapLogEvent(convertMutableToLog4jEvent(event));if (wrappedEvent instanceof LogEventWithAdditionalFields) {&nbsp; &nbsp; LogEventWithAdditionalFields eventWithAdditionalFields = (LogEventWithAdditionalFields) wrappedEvent;&nbsp; &nbsp; eventWithAdditionalFields = customFunctionToApplyPatternConversion(event, eventWithAdditionalFields);&nbsp; &nbsp; wrappedEvent = eventWithAdditionalFields;}objectWriter.writeValue(writer, wrappedEvent);大多数东西都是在customFunctionToApplyPatternConversion方法内部完成的，但我不能发布，因为我没有被授权。这是如何添加对检测模式的支持并将其替换为值的总体思路。如果您查看 JsonLayout 类和 PatternLayout 类的完整代码，您可以更好地掌握这一点 - 这实际上是将它们合并在一起，然后在 log4j2.xml 中指定 CustomJsonLayout 而不是默认的。