继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

IDEA本地执行&调试Spark Application方法

撒科打诨
关注TA
已关注
手记 265
粉丝 46
获赞 145

对于一些比较简单的application,我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法:

在创建SparkContext对象时,指定以local方式执行,如下

val sc = new SparkContext("local", "app name")

修改执行配置,如下

webp


当然,运行的前提是将必要的jar包在Libraries中配置好,如图:


webp

如果你还想直接在IDEA中调试spark源码,按f7进入.class后,点击


webp

选择你在官网下载的与你的jar包版本一致的源码

webp

之后,你就可以任意debug了~



作者:牛肉圆粉不加葱
链接:https://www.jianshu.com/p/c801761ce088


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP