手记

当SparkSQL遇上Alluxio

前言

Alluxio官方文档介绍了Hive的配置方法,也介绍了Spark的配置方法,重点介绍了Spark程序如何访问Alluxio上的文件,但是没有介绍如何配置SparkSQL(这里指纯SQL方式,不是DataFrame编程),笔者仿照Hive的方式配置SparkSQL,但数据始终无法落到内存上(load、insert都不行)。

本文重点介绍如何为SparkSQL配置Alluxio,为SparkSQL插上飞翔的翅膀。

本文的环境:
Hadoop-2.7.1
Hive-1.2
Spark-2.1.1(刚刚发布的2.2对SparkSQL又做了大量优化(如CBO等)
Alluxio-1.4

启动Alluxio的用户

Alluxio默认支持文件系统用户和权限检查。为了确保HDFS中包括用户,组和模式的文件/目录的权限信息与Alluxio一致,启动Alluxio master和worker进程的用户要求是以下任一情况:

  • HDFS超级用户。即,使用启动HDFS namenode进程的同一用户也启动Alluxio master和worker进程。

  • HDFS超级用户组的成员。编辑HDFS配置文件hdfs-site.xml并检查配置属性dfs.permissions.superusergroup的值。如果使用组(例如,“hdfs”)设置此属性,则将用户添加到此组(“hdfs”)以启动Alluxio进程(例如,“alluxio”);如果未设置此属性,请将一个组添加到此属性,其中Alluxio运行用户是此新添加组的成员。

注意,上面设置的用户只是用于启动Alluxio master和worker进程。一旦Alluxio服务器启动,就不必使用此用户运行Alluxio客户端应用程序。

如果Hadoop的超级用户是hdfs,而启动Alluxio的用户是root,那么你会遇到各种权限相关的异常。
解决方法:将现在启动alluxio进程root用户加入hdfs用户组中。
usermod -a -G hdfs root(注意记得加-a,否则root会从原来的组移除)

从Hive开始

Hive在Hadoop&Spark生态中已经是不成文的事实标准,大部分主流的SQL on Hadoop引擎都会或多或少的依赖Hive或可与Hive共享存储仓库和元数据库,如SparkSQL、Impala、Presto、HAWQ、Drill等等。

配置Hadoop

配置Hive之前需要配置Hadoop(前提是Hive的执行引擎是MR)
将以下三个属性添加到Hadoop的安装目录下的conf目录中的core-site.xml文件中:

<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value></description></property><property>
  <name>fs.alluxio-ft.impl</name>
  <value>alluxio.hadoop.FaultTolerantFileSystem</value></property><property>
  <name>fs.AbstractFileSystem.alluxio.impl</name>
  <value>alluxio.hadoop.AlluxioFileSystem</value></description></property>

该配置使MapReduce识别Alluxio的URI(如alluxio:// )

其次, 在conf目录中hadoop-env.sh文件中修改$HADOOP_CLASSPATH:

export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}::/opt/alluxio/alluxio-1.4.0/core/client/target/alluxio-core-client-1.4.0-jar-with-dependencies.jar

分发alluxio-core-client-1.4.0-jar-with-dependencies.jar,有多种方式,可以在跑MR程序时用-libjars指定,也可以放到alluxio每个节点的置于每个MapReduce节点的$HADOOP_HOME/lib(由于版本不同也可能是$HADOOP_HOME/share/hadoop/common/lib),如果您使用的Hadoop做了些优化,将一些jar包提前放到了HDFS上,那么需要将该jar包放到hdfs上。笔者重新打包了mapreduced.tar.gz,并上传至hdfs的/hdp/apps/2.3.4.0-3485/mapreduce/目录下

配置Hive

参考官方文档配置Hive

添加以下配置项到你的Hive安装目下的conf目录里的hive-site.xml中:

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://node1:19998</value></property>

使用Hive过程中遇到的异常:

Could not setMode for UFS file hdfs://node1.hde.h3c.com:8020/tmp . Aborting the setAttribute operation in Alluxio.

原因是Hive找不到alluxio的jar包,笔者更新了HDFS上Hive的jar包(/hdp/apps/2.3.4.0-3485/hive/hive.tar.gz),将alluxio-core-client-1.4.0-jar-with-dependencies.jar打到了这个tar包中

在Hive中见表,并插入一条数据(insert语句),测试发现数据缓存到了Alluxio,如下图所示:

数据在内存中

SparkSQL相遇

启动spark-sql命令行,执行insert向刚才hive中创建的表插入一条数据:


sparksql中向hive创建的表插入数据

发现在SparkSQL中插入的一条数据也存在了内存中,如下图所示:

sparksql向hive中建的表插入数据,存入内存

在SparkSQL中创建一张新表,并插入数据

建表并插入数据


查看Alluxio向的缓存情况,如下图所示,数据全部落到HDFS上,并未存到内存中。

未存到内存中

总结一下:

  • Hive配置Alluxio成功后,在Hive中建表并插入数据,可存入Alluxio内存,在SparkSQL中向这个表插入数据,也能缓存到内存。

  • 在SparkSQL中建表并插入数据,不能缓存到Alluxio的内存中。

如何能SparkSQL建表并插入的数据缓存到Alluxio的内存中呢?

经研究发现配置Hive时,修改的fs.defaultFS配置针对Hive是起作用的,但是SparkSQL并不解析这个配置,所以就算在spark-home/conf/hive-site.xml加上这个配置也不会起作用。

幸好,Hive提供了修改元数据属性的工具metatool,我们可以通过此工具修改fs的类型:

-listFSRoot                           print the current FS root locations
-updateLocation <new-loc> <old-loc>   Update FS root location in the
                                       metastore to new location.Both
                                       new-loc and old-loc should be valid
                                       URIs with valid host names and
                                       schemes.When run with the dryRun
                                       option changes are displayed but
                                       are not persisted. When run with
                                       the serdepropKey/tablePropKey
                                       option updateLocation looks for the
                                       serde-prop-key/table-prop-key that                                       is specified and updates its value                                       if found.

修改过程如下所示,通过此命令将hive的warehouse从hdfs上修改到了alluxio上。

[root@node2 hive]# bin/metatool -listFSRoothdfs://node1.hde.h3c.com:8020/apps/hive/warehouse/hmr.dbhdfs://node1.hde.h3c.com:8020/apps/hive/warehouse[root@node2 hive]# bin/metatool --updateLocation alluxio://node1:19998 hdfs://node1.hde.h3c.com:8020Updated 12 records in SDS table
[root@node2 hive]# bin/metatool -listFSRootalluxio://node1:19998/apps/hive/warehouse/hmr.dballuxio://node1:19998/apps/hive/warehouse

测试是否管用,新建一张表并插入数据:

spark-sql> create table test_sparksql2(id int, name string);
Time taken: 1.023 seconds
spark-sql> insert into test_sparksql2 values(1, 'aa');
Time taken: 2.294 seconds
spark-sql> select * from test_sparksql2;1   aa
Time taken: 0.821 seconds, Fetched 1 row(s)

查看Alluxio的缓存情况,如下图所示,数据全部缓存到内存中。

数据缓存到内存

  • 我们使用SparkSQL建表,insert/load操作都能缓存到内存中。通过配置Alluxio的存储策略,大数据量的表我们也无需关心内存是否足够。如果内存足够大,SparkSQL的性能必将几何级提升。

  • 不同于SparkSQL提供的cache table语句,Alluxio的方式存放数据不会随着启动SparkSQL的进程(或JDBC)的退出而消失,这对于不同进程间的数据共享,意义无疑是巨大的。



作者:dingyuanpu
链接:https://www.jianshu.com/p/ca75a8adb003


0人推荐
随时随地看视频
慕课网APP