首页技术文章正文

大数据如何安装和配置Sqoop?

更新时间:2021-01-26 来源:黑马程序员 浏览量:

1577370495235_学IT就到黑马程序员.gif

Sqoop的安装配置非常简单,前提是部署Sqoop工具的机器需要具备Java和Hadoop的运行环境。接下来,本书将采用编写时最新稳定版本Sqoop-1.4.6来讲解Sqoop的安装配置,下载地址http://archive.apache.org/dist/sqoop/1.4.6/。

1**.Sqoop**安装

首先将下载好的安装包上传至hadoop01主节点的/export/software目录中,并解压至/export/servers路径下,然后对解压包进行重命名,具体指令如下。

$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers/

$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

执行完上述Sqoop的下载解压后,就完成了Sqoop的安装。

2**.Sqoop**配置

(1)先进入Sqoop解压包目录中的conf文件夹目录下,将sqoop-env-template.sh文件复制并重命名为sqoop-env.sh,对该文件中的如下内容进行修改。

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4

export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

在sqoop-env.sh配置文件中,需要配置的是Sqoop运行时必备环境的安装目录,Sqoop运行在Hadoop之上,因此必须指定Hadoop环境。另外,在配置文件中还要根据需要自定义配置Hbase、Hive和Zookeeper等环境变量(例如本章后续将会使用到Hive,所以必须配置Hive的环境变量,而其他无关环境变量如果未配置,使用过程中可能会出现警告提示,但不影响其他操作)。

小提示:

需要说明的是,本书讲解的Hadoop是Apache社区版本,Hadoop重要的组件都是安装在一个安装包中,所以上述配置文件中配置的HADOOP_COMMON_HOME与HADOOP_MAPRED_HOME指定的Hadoop安装目录一致。如果使用第三方的Hadoop,这些组件都是可选择配置的,那么这两个路径可能会有所不同。

(2)为了后续方便Sqoop使用和管理,可以配置Sqoop系统环境变量。使用“vi /etc/profile”指令进入到profile文件,在文件底部进一步添加如下内容类配置Sqoop系统环境变量。

export SQOOP_HOME=/export/servers/sqoop-1.4.6

export PATH=$PATH:$SQOOP_HOME/bin:

配置完成后直接保存退出,接着使用“source /etc/profile”指令刷新配置文件即可。

(3)当完成前面Sqoop的相关配置后,还需要根据所操作的关系型数据库添加对应的JDBC驱动包,用于数据库连接。本书将针对MySQL数据库进行数据迁移操作,所以需要将mysql-connector-java-5.1.32.jar(版本可以自行选择)包上传至Sqoop解压包目录的lib文件夹下。

3**.Sqoop**效果测试

执行完上述Sqoop的安装配置操作后,就可以执行Sqoop相关指令来验证Sqoop的执行效果了,具体指令如下(此次在Sqoop的解压包下执行,同时注意数据库密码)。

$ sqoop list-databases \

 -connect jdbc:mysql://localhost:3306/ \

 --username root --password 123456

上述指令中,sqoop list-databases用于输出连接的本地MySQL数据库中的所有数据库名,如果正确返回指定地址的MySQL数据库信息,那么说明Sqoop配置完毕。

执行上述指令后,终端效果如图1所示。


Sqoop的安装和配置

图1 Sqoop验证效果

从图1可以看出,执行完上述指令后,通过Sqoop成功查询出连接的MySQL数据库中的所有数据库名,这就说明Sqoop的安装配置正确。



猜你喜欢:

什么是spoop?Sqoop简介

如何使用IDEA工具开发Scala程序?

Hive安装之嵌入模式

黑马程序员大数据开发培训

分享到:
在线咨询 我要报名
和我们在线交谈!