sc is short for sparkContext stand for sparkContext
本地和hdfs都可以,视频中示例写的是本地相对路径
如果安装有hadoop环境,可以使用spark读取hdfs上的文件
scala> var d = sc.textFile("hdfs://localhost:9000/data/users.txt")
老铁,我跟你一样遇到了这个问题,折腾了我好久终于解决了。
我是deepin系统,装了“jdk-11.0.2",怀疑是JDK版本的问题,后面就把它换成了"jdk1.8.0_201",first函数终于执行成功了,你可以下载这个版本,或者格式类似这个版本的JDK把原来的JDK替换掉试试
加个 -V 看看 日志。
请使用 hellospark 文件的完整路径
这是在linux环境下运行的,系统是centos或者ubuntu,虚拟环境的配置网上一大堆。
原来我路径写错了.
运行bin下的spark-shell
./bin/spark-shell
不用吧,直接用“”把文件路径括起来就好了,像这样val rdd = sc.textFile("C:\\Users\\Desktop\\Test.txt")
我用的是jdk1.8
java 1.8 不可以么?
这么明显的一个 java 异常
host 没弄对
你是服务器么
/etc/hosts 自己修改成你那里的情况
蹲一个答案
1、什么是虚拟机。虚拟机就是通过软件,将你一台电脑虚拟为一个或多个不同或相同的操作系统,使你的电脑具备多如电脑的功能。
2、虚拟机的好处。比如你现在是WIN2003,你想学习Linux系统,这时你就可以做一个虚拟机,这个虚拟机里,装个Linux系统。
3、为什么要使用。我们装分布式系统时,需要多台电脑,但是你又只有一台电脑,这个时候就需要虚拟机了。比如我装分布式hadoop系统,就是在我本机,装了三个Linux系统,实现了真实环境的模拟。
4、如何装虚拟机。下载vmware,再装备操作系统镜像文件。通过vmware创建虚拟机,然后加载镜像文件就OK了。
后面创建程序开始 是spark集群了