Spark整合Hive过程及遇到的问题
一、前置步骤
安装MySQL，创建用户（当然也可以直接用root用户）并授权
CREATE USER 'bigdata'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123568' WITH GRANT OPTION; FLUSH PRIVILEGES;
二、将hive-site.xml放到$SPARK_HOME/conf目录下（可以不安装Hive，只要有配置文件就好了）
<configuration>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>driver class</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive</value>
<description>mysql url</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>spark</value>
<description>bigdata</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123568</value>
<description>mysql passwd</description>
</property>
</configuration>
三、添加驱动jar包（当然你也可以在运行是指定）
将mysql-connector-java-5.1.28.jar添加到$SPARK_HOME/jars目录下，并在$SPARK_HOME/conf下的spark-defaults.conf中
添加如下语句：
spark.executor.extraClassPath $SPARK_HOME/jars/mysql-connector-java-5.1.22.jar:$SPARK_CLASSPATH
四、启动spark-sql
spark/bin/spark-sql --master spark://briup-vm:7077
五、异常
1、启动之后就碰到了问题
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes
一直报这个错，后面查到了是因为hive需要设置数据库字符集为latin
解决办法：
查看字符集设置
SHOW VARIABLES LIKE 'character%';
如果character_set_database的值不是latin1,执行如下语句：
alter database hivedb character set latin1;
再试着启动spark-sql,如果还是不行，就将hivedb删除，再创建hivedb，然后use hivedb，再执行alter database hivedb character set latin1;
正常启动之后，查看hivedb中的表，其中DBS表中的DB_LOCATION_URI 中的值是你在spark-sql中创建的表的位置，
如果你发现你的这个值不是hadoop集群中的值（格式如hdfs://....），说明你没有把HADOOP_CONF_DIR export到你的环境变量中，所以你要在你的
/etc/profile或者.bashrc中添加
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
(如果你没有配置HADOOP_HOME，也需要配置，按理说如果没配HADOOP_HOME,那应该就没有搭HADOOP集群2333....)
然后你可以修改DBS表中的DB_LOCATION_URI，改成一个hdfs路径，这样你的表就会存放在集群上了
六、建表
在spark-sql中建表
create table t_boy( > id int, > name string, > age int) > row format delimited > fields terminated by ',' > ;
在mysql中执行select * from TBLS;可以看到你建的表哦！
随时随地看视频
