Sqoop
mapreduce ←→ mysql

sqoop配置：

1. sqoop-env-template改名sqoop-env.sh

2. SQOOP_HOME

3. mysql驱动jar包，添加到Sqoop的lib目录下

4. 本地安装mysql和开放mysql远程访问权限（去连接集群和windows sq服务）

USE mysql;
CREATE USER 'root'@'%' IDENTIFIED BY '密码';
GRANT ALL ON *.* TO 'root'@'%';
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码';
FLUSH PRIVILEGES;

5. Hadoop 3.2 版本需要 common-lang.jar 到lib目录

6. mysql创建数据库

CREATE DATABASE data DEFAULT CHARACTER SET= utf8 DEFAULT COLLATE = utf8_general_ci;
USE data;
CREATE TABLE top10{
    dt data,
    uid varchar(255),
    length bigint(20)
};

7. sqoop将hdfs目录的数据导出到mysql表中

sqoop export \
--connect jdbc:mysql://windows的ip:3306/data?serverTimezone=UTC \
--username root \
--password admin \
--table top10 \
--export-dir /res/videoinfojobtop10/20190821 \    #hdfs的路径
--input-fields-terminated-by "\t"

sqoop最终的是生成mr任务提交到haddop集群执行

使用sqoop将hdfs中指定的数据导出到Mysql中

sqoop安装配置

使用sqoop将hdfs中指定目录的数据导出到mysql中

具体操作步骤

使用Sqoop将计算结果导出到Mysql

1、快速安装Sqoop工具

2、数据导出功能开发，使用Sqoop将MapReduce计算的结果导出到MysQL中