hadoop - PIG命令执行

标签 hadoop apache-pig ubuntu-14.04

我正在自学 Hadoop,所以我不确定我问的问题是否有问题。当我运行命令 pig -x local 在本地运行它时,我收到以下消息:


    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType
    2015-10-05 15:23:28,830 [main] INFO  org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:44:35
    2015-10-05 15:23:28,831 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/nkhl/pig_1444038808829.log
    2015-10-05 15:23:29,050 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/nkhl/.pigbootup not found
    2015-10-05 15:23:29,333 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
    2015-10-05 15:23:29,334 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
    2015-10-05 15:23:29,335 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:///
    2015-10-05 15:23:29,562 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum

它在我的在线导师的屏幕上看起来不一样,所以我有点困惑。

我最关心的是 deprecation 部分。有人可以帮我吗?它想表达什么?不要误会我的意思,一切正常。 GRUNT shell 加载,一切正常。我只是想知道那是什么意思。

这是一台 Ubuntu 机器。

谢谢!

最佳答案

如果您正在使用它进行一些快速测试,那么在本地运行 pig 是很棒的 AFAIK。比如在 UDF 中显示 sysout 等。 您可以安全地忽略上述警告。它表示在 conf-site.xml 中设置的一些变量已被弃用。

您可以通过编辑

来关闭这些参数

log4j.logger.org.apache.hadoop.conf.Configuration.deprecation

在 log4j.properties 文件中。

关于hadoop - PIG命令执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32946330/

相关文章:

web-services - 在 WSO2 ESB 后序代理服务中配置 Hadoop 端点

hadoop - 如何将分区 Hive ORC 表中的多个 ORC 文件(属于每个分区)组合成一个大的 ORC 文件

hadoop - 如何在 Apache Pig 中对多个展平列进行分组

hadoop - 标志 -useHCatalog 不工作

linux - 为什么我的 Upstart 服务在重启后无法启动?

在子目录中找不到 Ubuntu 404

firefox - 无法在 Firefox 36 上启动 webex

scala - 水平连接多个数据框

hadoop - Hadoop 3.1.1仅显示一个实时数据节点

hadoop - Map reduce 合并两个没有相同键的文件