-
Promising7954017
2025-08-28
-
慕的地8261015
2023-05-22
- 关于集群的问题
差不多是这样，但是可以有多个master，以及任务是调度到worker节点，资源不是完全池化的
- 1回答·458浏览
-
cqnuhy
2021-09-26
- 启动模式是本地模式么？
本地模式
- 1回答·535浏览
-
帝国大学
2021-04-26
-
dh1211
2021-03-29
- object apache is not a member of package
自己回答一下，后来解决了，是因为版本的问题
- 1回答·1686浏览
-
xiao199441
2021-03-01
- 资料下载问题
不提供PPT
- 1回答·566浏览
-
来一串烤bug
2020-12-02
- 到Spark的官网后遇到这种情况要怎么办？要怎么下载？
- 2回答·1002浏览
-
慕工程2104131
2020-07-25
- Spark 是不是可以理解为大数据计算的组件 而Hadoop更偏更向于持久化存储？
hadoop也可以进行计算，它是通过mapreduce计算引擎来计算的。它们的区别是hadoop的mapreduce框架的九三是基于磁盘的，而spark的计算是基于内存的。这也是为什么spark计算比hadoop更快的原因。
- 1回答·912浏览
-
注意这波细节连招
2020-05-04
- ssh相关问题
ssh是个网络协议，用于远程控制。配置ssh免密防止启动集群的时候每次都要输入密码
- 1回答·792浏览
-
755378268
2020-03-11
- ?
- 0回答·1699浏览
-
ajiaoJoan
2020-02-23
- 后续课程在哪里看呢
没发现，只能看其他实战课程了
- 1回答·912浏览
-
想成为鸿鹄的燕雀
2019-11-24
- 分片导入文件有问题
老师讲的那个500G文件分成5个文件是建立在文件在hdfs的基础上的，使用hdfs的文件系统路径，一次性拿文件全部内容
- 2回答·1125浏览
-
小灰黄
2019-09-23
- not found：value sc是什么错
sc is short for sparkContext stand for sparkContext
- 2回答·1093浏览
-
ranhaolee1988
2019-09-12
- 文件路径的问题
本地和hdfs都可以，视频中示例写的是本地相对路径
- 2回答·965浏览
-
ranhaolee1988
2019-09-12
- 文件的路径是hdfs上的吗
如果安装有hadoop环境，可以使用spark读取hdfs上的文件
scala> var d = sc.textFile("hdfs://localhost:9000/data/users.txt")- 1回答·920浏览
-
慕莱坞3296679
2019-08-01
- 启动master成功，启动worker报错
使用standalone mode启动spark：命令行输入
$ cd software/spark-2.4.4-bin-hadoop2.7/sbin $ ./start-master.sh 会输出log文件地址xxx $ tail xxx会输出log文件末尾，找到Starting Spark master at spark://xxx.local:7077， 也可以浏览器访问http://localhost:8080/，出现视频中的网页
参考https://uohzoaix.github.io/studies//2014/09/13/sparkRunning/
- 1回答·1317浏览
-
慕丝3071057
2019-07-21
- spark如何与python联系起来
- 1回答·1441浏览
-
神之丶鲁鲁修
2019-06-04
- IDEA如何配置Spark环境
https://www.imooc.com/qadetail/341618
- 1回答·1469浏览
-
小草001
2019-05-09
- 之前到scala的官网去下载了Scala，后来又在IDE中下载Scala插件，是不是重复了啊，各有什么用啊
IDE中的, 只是在ide中编译时会用的,
本地安装的, 是在控制台操作, 或是其他指定了该scala版本的运行程序才会使用,
安装的路径不一样, 如果你能找到路径, 其实两个都是正常使用的
- 1回答·1401浏览
-
小草001
2019-05-09
- scala安装问题
不重复，scala官网下载下载的是开发包，IDE中中的Scala插件是开发的用的。
- 1回答·1009浏览
-
新手小白_请多指教
2019-03-30
- 输入./sbin/start-master.sh命令，并没有启动master
你是不是spark的环境没有搭好。老师讲的环境是基于hadoop搭建的。
- 1回答·2511浏览
-
新手小白_请多指教
2019-03-30
- 在main下面的scala右击并没有出现scala class
- 2回答·1306浏览
-
qq_慕设计6412959
2019-02-26
- lines.first()报错
老铁，我跟你一样遇到了这个问题，折腾了我好久终于解决了。
我是deepin系统，装了“jdk-11.0.2"，怀疑是JDK版本的问题，后面就把它换成了"jdk1.8.0_201"，first函数终于执行成功了，你可以下载这个版本，或者格式类似这个版本的JDK把原来的JDK替换掉试试
- 1回答·1367浏览
-
qq_慕丝5312224
2019-02-24
- 为啥我的src/main目录只有Scala目录，没有Java目录？
- 6回答·1616浏览
-
天锁2019
2019-01-24
- 怎么回事？没有声音？？？听到声音就zizizi
刷新网页试试
- 1回答·1276浏览
-
慕粉3358788
2019-01-14
- 启动spark woker时，提示native-hadoop不存在
办法一：在spark的conf目录下，在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
办法二：在 ~/.bashrc 设置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
试试看有没有用
- 1回答·1224浏览
-
慕用0436605
2018-12-13
- dev编译spark源码一直编译不了，求解答
加个 -V 看看 日志。
- 1回答·1889浏览
-
慕莱坞4069184
2018-12-07
- spark需要配置环境变量么
spark如果你的提交作业的方式是local，是不需要配置任何东西的，视频里面老师都是在spark-shell下进行操作的所以不需要配置任何东西，按照你的说法，spark-shell命令无效是因为没有去到spark的bin目录下执行命令，如果你往/etc/profile或者~/.bash_profile 下进行把spark的bin加入到PATH的的话就可以不用去到bin目录下也可以执行spark-shell。如果你的spark作业是提交在yarn等外部框架上面则需要配置spark-env.sh文件。
- 1回答·2405浏览
-
慕移动9725810
2018-12-02
- 什么时候出后续课程
很快..
- 1回答·1079浏览
-
HWilu
2018-11-28
- 为什么最后会生成两个文件呢？
这与RDD的分区数量有关，你后面学过这个就会知道的
- 1回答·1054浏览
