问答详情
源自:3-2 开发第一个Spark程序

spark需要配置环境变量么

老师视频上说spark安装后会自动配置环境变量,但是我重新开启虚拟机后,spark-shell命令无效,我自己配置了环境变量才有效,这是为什么?

提问者:慕莱坞4069184 2018-12-07 11:12

个回答

  • 宝慕林1045435
    2018-12-15 15:42:04

    spark如果你的提交作业的方式是local,是不需要配置任何东西的,视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西,按照你的说法,spark-shell命令无效是因为没有去到spark的bin目录下执行命令,如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。