前言

Sqoop是什么

1、Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。

2、核心的功能有两个：

导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统；
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等。
3、Sqoop与Hive本质

sqoop工具：本质是迁移数据， 迁移的方式是把sqoop的迁移命令转换成MR程序
hive工具：本质是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序

安装sqoop

安装sqoop版本是

sqoop版本
sqoop-1.4.6

我们将sqoop解压完成后,和安装其他组件一样,都要配置环境变量.我这里是把sqoop解压在/usr/local/src这个目录下,所以配置环境变量如图所示

配置环境变量完成后,记得source一下

验证环境变量配置是否成功

修改配置文件

修改sqoop-env.sh文件

如果没有这个文件,把sqoop-env-template.sh重命名为sqoop-env.sh

在sqoop-env.sh文件中添加

export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.6.0
export HIVE_HOME=/usr/local/src/hive-1.1.0
export HBASE_HOME=/usr/local/src/hbase-1.2.0

export ZOOCFGDIR=/usr/local/src/zookeeper-3.4.5/conf

上面的路径记得填自己的路径

上传mysql-connector-java.jar到到sqoop的lib目录

在修改完配置文件后,把mysql的jar包上传的sqoop的lib目录下

这里可以使用xftp,具体用法可以自己上网百度一下

mysql的jar包,我在下一篇文章中会进行上传,读者也可以自行百度下载

验证sqoop连接mysql数据库是否成功

保证mysql数据库正在运行,mysql数据库的配置可以参考这篇博客:https://blog.csdn.net/baidu_32872293/article/details/80557668?tdsourcetag=s_pcqq_aiomsg

将mysql数据库的密码设置为123456

我们输入

sqoop list-databases --connect jdbc:mysql://master:3306 --username root --password 123456

如果连接成功,会返回类似这样的结果

连接成功.

sqoop的安装与测试就到这里了,感谢大家的阅读.