向spark集群提交任务本机必须是linux环境吗

Question

向spark集群提交任务本机必须是linux环境吗

Answer 1

开发环境：操作系统：win8 64位IDE：IntelliJ IDEAJDK：1.7scala:scala-2.11.7spark：linux上spark集群版本：1.4.1，本地依赖spakr的jar直接拷贝linux上$SPARK_HOME/lib/spark-assembly-1.4.1-hadoop2.4.0.jarmaven关键依赖：Xml代码<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.10</artifactId><version>1.4.1</version></dependency><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.10.4</version></dependency><!-- 进行LDA 会使用到一下jar，否则可不引入