spark需要配置环境变量么

来源:3-2 开发第一个Spark程序

慕莱坞4069184

2018-12-07 11:12

老师视频上说spark安装后会自动配置环境变量,但是我重新开启虚拟机后,spark-shell命令无效,我自己配置了环境变量才有效,这是为什么?

写回答 关注

1回答

  • 宝慕林1045435
    2018-12-15 15:42:04

    spark如果你的提交作业的方式是local,是不需要配置任何东西的,视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西,按照你的说法,spark-shell命令无效是因为没有去到spark的bin目录下执行命令,如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。

Spark从零开始

本课程旨在让同学们了解Spark基础知识,掌握Spark基础开发.

52724 学习 · 81 问题

查看课程

相似问题