Spark 应用程序记录器

Question

我试图让我的 spark 应用程序登录它自己的日志文件，我不希望我所有的东西都与 Spark 的东西混在一起，它不可读。

由于 Spark 库的兼容性，我放弃使用 Logback，所以我选择了 log4j。我在我的 java 应用程序的 src/main/resources 中创建了我的自定义 log4j.properties，但是当我启动我的 jar 的 spark-submit 时，我的所有日志都被写入了 Spark 的工作日志文件中。它接缝了我的 jar 中的自定义 log4j.properties 被忽略了。

这是命令：

./spark-submit --jars /home/user/LIBRERIE/ORACLE/ojdbc8.jar,\

/home/user/.m3/repository/org/mongodb/spark/mongo-spark-connector_2.11/2.3.0/mongo-spark-connector_2.11-2.3.0.jar,\

/home/user/.m3/repository/org/mongodb/mongo-java-driver/3.8.1/mongo-java-driver-3.8.1.jar,\

/home/user/.m3/repository/ch/qos/logback/logback-classic/1.2.3/logback-classic-1.2.3.jar \

--class my.pkg.common.SparkHandlerStandalone \

--master  spark://162.16.215.59:7077 \

--deploy-mode cluster \

/home/user/NetBeansProjects/SparkScala/target/SparkScala-1.0-SNAPSHOT.jar

我的 log4j.properties：

log4j.rootLogger=DEBUG, file

log4j.appender.file=org.apache.log4j.RollingFileAppender

log4j.appender.file.File=/home/user/TEMP/Spark/sparkapp.log

log4j.appender.file.MaxFileSize=5MB

log4j.appender.file.MaxBackupIndex=10

log4j.appender.file.layout=org.apache.log4j.PatternLayout

log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p %c{1}:%L - %m%n

有谁知道我如何将两个日志分开？