sqoop常用功能
Sqoop技术核心
Sqoop原理
Sqoop常用功能
1、数据导入
2、数据导出
3、Sqoop作业
4、Sqoop代码生成器
5、sqoop Eval工具
6、列出数据库
7、列出数据表
8、Sqoop帮助
使用sqoop的原因
1、快速实现Hadoop(HDFS/hive/hbase)与传统数据库之间的数据传输
2、Sqoop提供许多数据传输方式
3、Sqoop支持多种数据库
Sqoop简介
1、开源的数据传输工具
2、Hadoop生态圈中的一个第三方模块
3、Apache项目
环境准备
1、Hadoop环境(2.7.2)
2、关系型数据库(mysql5.6)
3、Sqoop环境(1.4.6)
定时作业实现方式
显示sqoop job的信息:sqoop job --show myjob
执行sqoop job: sqoop job --exec myjob
sqoop job语法
update模式导出
Insert模式导出
数据导出语法
lastmodified的使用方法
lastmodified的使用方法
append的使用方法
增量 导入
自由SQL导入
where条件的使用
columns的使用
Sqoop命令
查看导入数据
hdfs dfs -cat /user/root/movies/*
删除user文件:
hdfs dfs -rm -r /user
查看数据:
hdfs dfs -cat /user/root/movies/*
sqoop import --connect jdbc:mysql://47.95.11.134:3306/doubanmove --username tiger --password tiger --table movies -m 1
配置环境变量
下载sqoop
sqoop下载方式
http://archive.apache.org/dist/sqoop/1.4.6/
sqoop技术核心
sqoop原理
sqoop常用功能
为什么要使用sqoop
Sqoop简介