spark on hive和hive on spark的区别

Question

spark on hive和hive on spark的区别

Answer 1

spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.*（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息* （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据* （3）接下来就可以通过spark sql来操作hive表中的数据hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要实现责麻烦很多, 必须重新编译你的spark. 和导入jar包,