windows - hadoop 3.3.0应该使用哪个版本的sqoop？

Question

我正在尝试在hadoop 3.3.0的Windows 10中安装sqoop 1.4.7，
在GIT bash上使用 ./configure-sqoop 我得到以下o / p:
警告:C:\ sqoop_data \ sqoop-1.4.7.bin__hadoop-2.6.0 /../ hbase不存在! HBase导入将失败。
请将$ HBASE_HOME设置为HBase安装的根目录。
警告:C:\ sqoop_data \ sqoop-1.4.7.bin__hadoop-2.6.0 /../ hcatalog不存在! HCatalog作业将失败。
请将$ HCAT_HOME设置为HCatalog安装的根目录。
警告:C:\ sqoop_data \ sqoop-1.4.7.bin__hadoop-2.6.0 /../ accumulo不存在! Accumulo导入将失败。
请将$ ACCUMULO_HOME设置为Accumulo安装的根目录。
警告:C:\ sqoop_data \ sqoop-1.4.7.bin__hadoop-2.6.0 /../ zookeeper不存在! Accumulo导入将失败。
请将$ ZOOKEEPER_HOME设置为Zookeeper安装的根目录。
在使用 sqoop.cmd版本验证安装时，我得到:
警告:未设置HBASE_HOME和HBASE_VERSION。
警告:未设置HCAT_HOME
警告:HCATALOG_HOME不存在HCatalog导入将失败。
请将HCATALOG_HOME设置为HCatalog安装的根目录。
警告:未设置ACCUMULO_HOME。
警告:ZOOKEEPER_HOME未设置。
警告:HBASE_HOME不存在HBase导入将失败。
请将HBASE_HOME设置为HBase安装的根目录。
警告:ACCUMULO_HOME不存在Accumulo导入将失败。
请将ACCUMULO_HOME设置为Accumulo安装的根目录。
警告:ZOOKEEPER_HOME不存在Accumulo导入将失败。
请将ZOOKEEPER_HOME设置为Zookeeper安装的根目录。
系统找不到指定的路径。
请协助解决这个问题

Answer 1

这取决于您是在服务器端还是客户端。
如果您在服务器端，请执行以下操作:
将Sqoop Artifact 复制到要运行Sqoop服务器的计算机上。 Sqoop服务器充当Hadoop客户端，因此Hadoop库(Yarn，Mapreduce和HDFS jar文件)和配置文件(core-site.xml，mapreduce-site.xml等)必须在此节点上可用。您不需要运行任何与Hadoop相关的服务-在“网关”节点上运行服务器非常好。
解压缩Sqoop分发tarball

tar -xvf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz

将解压缩的内容移动到任何位置

mv sqoop-<version>-bin-hadoop<hadoop version>.tar.gz /usr/lib/sqoop

更改工作目录

cd /usr/lib/sqoop

sqoopt需要环境变量来处理Hadoop库。因此，像这样设置和导出变量:

# Export HADOOP_HOME variable
export HADOOP_HOME=/...

# Or alternatively HADOOP_*_HOME variables
export HADOOP_COMMON_HOME=/...
export HADOOP_HDFS_HOME=/...
export HADOOP_MAPRED_HOME=/...
export HADOOP_YARN_HOME=/...

Sqoop服务器将需要模拟用户以访问HDFS，因此请编辑core-site.xml文件:

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

对于客户端安装
只需在目标计算机上复制Sqoop分发 Artifact ，然后将其解压缩到所需位置即可。您可以使用以下命令启动客户端:

sqoop2-shell

对于路径变量，所有面向用户和管理员的shell命令都存储在bin /目录中。建议将此目录添加到$ PATH中，以方便执行，例如:

PATH=$PATH:`pwd`/bin/