如何配置hive，使hive能使用spark引擎

Question

如何配置hive，使hive能使用spark引擎

Answer 1

1、为了让Spark能够连接到Hive的原有数据仓库，我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放。在这里由于我的Spark是自动安装和部署的，因此需要知道CDH将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。同理，spark的conf也是在/etc/spark/conf。此时，如上所述，将对应的hive-site.xml拷贝到spark/conf目录下即可如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。