hadoop - Netezza Squoop选项文件-如何在代码升级中进行处理

标签 hadoop netezza sqoop

我正在使用Hadoop Sqoop将数据从hadoop导出到neteeza。我为此创建了一个选项文件。

选项文件的内容如下所述

-connect
jdbc:netezza://xxxxxxxxxxxxxxxxxxxxxx:5480/
--username
XXXX 
--password
***************

现在,我不确定如何在代码升级中使用此文件,有什么方法可以在此文件中编写逻辑以根据所使用的环境选择参数。

当前,每次我必须更改环境时,都需要更改此文件,这会创建此文件的很多版本,如果有人忘记更新它,则会产生很多问题。

最佳答案

因此,这实际上不是一个netezza问题,我希望这是您在“客户”端必须解决的问题。
在我们这里,我们有一组命名约定,用于将环境(DEV,TEST,PROD)彼此分开。所有系统用户,配置文件(如此类)的数据库名称和网络别名均基于此关键字构建。

如果按环境创建配置文件并将环境名称放入文件名,则可以避免大多数问题。

一个例子:
在环境PROD中,

  • 系统用户:SQOOP_USER_PROD
  • 配置文件:sqoop_PROD.conf
  • 数据库1:STAGING_PROD
  • 数据库2:WAREHOUSE_PROD
  • 网络别名:NZPROD.yourdomain.com

  • 你可以跟我来吗?

    关于hadoop - Netezza Squoop选项文件-如何在代码升级中进行处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48698372/

    相关文章:

    netezza - Netezza 是否支持编程,即它是否具有等效的 PL/SQL?

    python - 从 Pandas DataFrame 在 Netezza 上创建临时表

    java - Sqoop导出更新失败,索引:2处缺少IN或OUT参数

    hadoop - 批量导入hbase后如何从sqoop获取HFile?

    hadoop - 如何使 HDFS 上的平面文件与大型数据库表保持同步?

    shell - 如何在 OOZIE 中使用正则表达式?

    r - 在R中获取文件名

    hadoop - 推测执行 Hadoop

    java - 无法通过Spark 1.6从Parquet Hive表中读取数据

    sql - 从大查询中的特定数字开始查找序列