猿问

Anaconda (4.2) python 2.7.14:确保worker已经注册并且有足够的资源

任何人都可以帮助修复以下代码吗?


import pyspark

from pyspark import SparkContext, SparkConf

conf = SparkConf()

conf.setMaster('yarn-cluster')

conf.setAppName('test')

sc = SparkContext.getOrCreate()

r = sc.textFile("data.csv")

r.collect()

它出现以下异常:


WARN cluster.YarnScheduler:初始作业没有接受任何资源;检查您的集群 UI 以确保工作人员已注册并拥有足够的资源


我期待收集结果将被打印出来。


潇潇雨雨
浏览 127回答 1
1回答
随时随地看视频慕课网APP

相关分类

Python
我要回答