Spark SQL 到底怎么搭建起来

Question

Spark SQL 到底怎么搭建起来

Answer 1

一般spark sql用于访问hive集群的表数据吧？我们的spark是访问hive集群的，步骤还是很简单的，大致如下：1）安装spark时需要将hive-site.xml,yarn-site.xml,hdfs-site.xml都拷贝到spark/conf中（yarn-site.xml是因为我们是spark on yarn）2）编程时用HiveContext，调用sql(...)就好了，如：val hc = new HiveContext(sc)hc.sql( "select ..." ) 这里的sql语句自己发挥吧~不过spark sql稳定性不高，写复杂语句时partition和优化策略不太合理，小数据量玩一下就好（如spark streaming中使用也还可以），大数据量暂时不建议用~