hue怎么直接操作spark sql

Question

hue怎么直接操作spark sql

Answer 1

Hue在提交并执行作业的时候使用的是Oozie和Livy服务器，将Hue做为一个client进行开发，将封装好的数据通过RestApi发送给两种服务器进行作业的提交，执行和管理。但是相较于Oozie，Livy并不包含DAG图，所以在执行Spark作业的时候多节点直接可能无法产生依赖，无法保证执行的次序。目前调研看来，Spark作业最好为单节点，或者无依赖的链表形式执行。