Spark从零开始_技术问答

慕的地8261015

关于集群的问题: 差不多是这样，但是可以有多个master，以及任务是调度到worker节点，资源不是完全池化的; 2023-05-22 1回答·399浏览

cqnuhy

启动模式是本地模式么？: 本地模式; 2021-09-26 1回答·493浏览

帝国大学

scala编译报错：missing parameter type for expanded function: 2021-04-26 2回答·1103浏览

注意这波细节连招

ssh相关问题: ssh是个网络协议，用于远程控制。配置ssh免密防止启动集群的时候每次都要输入密码; 2020-05-04 1回答·751浏览

慕莱坞3296679

启动master成功，启动worker报错

使用standalone mode启动spark：命令行输入

$ cd software/spark-2.4.4-bin-hadoop2.7/sbin
$ ./start-master.sh
会输出log文件地址xxx
$ tail xxx会输出log文件末尾，找到Starting Spark master at spark://xxx.local:7077，
也可以浏览器访问http://localhost:8080/，出现视频中的网页

参考https://uohzoaix.github.io/studies//2014/09/13/sparkRunning/

2019-08-01 1回答·1265浏览

新手小白_请多指教

输入./sbin/start-master.sh命令，并没有启动master: 你是不是spark的环境没有搭好。老师讲的环境是基于hadoop搭建的。; 2019-03-30 1回答·2425浏览

新手小白_请多指教

在main下面的scala右击并没有出现scala class: 2019-03-30 2回答·1247浏览

慕粉3358788

启动spark woker时，提示native-hadoop不存在

办法一：在spark的conf目录下，在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

办法二：在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

试试看有没有用

2019-01-14 1回答·1185浏览

慕莱坞4069184

spark需要配置环境变量么: spark如果你的提交作业的方式是local，是不需要配置任何东西的，视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西，按照你的说法，spark-shell命令无效是因为没有去到spark的bin目录下执行命令，如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。; 2018-12-07 1回答·2337浏览

HWilu

为什么最后会生成两个文件呢？: 这与RDD的分区数量有关，你后面学过这个就会知道的; 2018-11-28 1回答·1010浏览

jessie_chow

org.apache.spark的包导入失败: 我也出现了类似问题，请问你是怎么解决的？; 2018-08-07 2回答·2748浏览

大艺术家灬

这sprak refresh project 太慢了: refreesh project 杀意四; 2018-07-16 1回答·502浏览

慕尼黑5219940

spark学习问题: 视频中宿主机是苹果系统，虚拟机中CentOS。; 2018-03-30 1回答·1187浏览

swallow_123_

导入问题。。

要配置一下 build.sbt 然后保存，idea会自动下载(配置的时候还要看自己的版本进行配置)

2017-10-17 1回答·1373浏览

学习的毛毛虫

build。sbt中并没有视频中的最后一行文字，为什么: 内个需要自己添加 ...
也可以不使用SBT添加依赖jar,打开你spark安装目录下/spark-2.1.1/jars
检索spark-core.jar这个名字
就会找到对应的jar包
将这个jar包导入到工程里就可以了; 2017-09-30 1回答·1467浏览