java - hbase dns 连接错误或可能是 ipv6

标签 java hadoop mapreduce hbase

我一直在尝试运行涉及使用 Hbase 作为源和接收器的 MapReduce 作业。但是,当我尝试使用 HBase 客户端包 0.92.1 时,一切似乎都正常。但是当我使用 0.94.2 及以上版本时,它给出了以下 DNS 相关错误。我想使用较新的 HBase 客户端包,希望有人能告诉我哪里出了问题。谢谢

我已经禁用了 IPv6 并且根本没有使用它。我不确定为什么它无法解析 DNS 客户端的字符串。

Exception in thread "main" java.lang.NumberFormatException: For input string:     "4f8:0:a102::add:9999"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
at java.lang.Integer.parseInt(Integer.java:458)
at java.lang.Integer.parseInt(Integer.java:499)
at com.sun.jndi.dns.DnsClient.<init>(DnsClient.java:103)
at com.sun.jndi.dns.Resolver.<init>(Resolver.java:44)
at com.sun.jndi.dns.DnsContext.getResolver(DnsContext.java:553)
at com.sun.jndi.dns.DnsContext.c_getAttributes(DnsContext.java:413)
at com.sun.jndi.toolkit.ctx.ComponentDirContext.p_getAttributes(ComponentDirContext.java:213)
at com.sun.jndi.toolkit.ctx.PartialCompositeDirContext.getAttributes(PartialCompositeDirContext.java:121)
at com.sun.jndi.toolkit.url.GenericURLDirContext.getAttributes(GenericURLDirContext.java:85)
at javax.naming.directory.InitialDirContext.getAttributes(InitialDirContext.java:123)
at org.apache.hadoop.net.DNS.reverseDns(DNS.java:85)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(TableInputFormatBase.java:219)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:184)
at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:1064)
at org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:1081)
at org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:993)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:946)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:946)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:566)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:596)
at hbase_mapred1.FreqCounter1.main(FreqCounter1.java:86)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:208)

最佳答案

这似乎是 Java 中的一个已知问题。 https://bugs.openjdk.java.net/browse/JDK-6991580 ,我确定也存在 Oracle 错误,但找不到它。

关于java - hbase dns 连接错误或可能是 ipv6,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16615152/

相关文章:

hadoop - 当我尝试转储数据时,Pig给我这个错误

hadoop - 如何将多个零件文件放入路径

java - 如何在java中定义可定制的RGB背景颜色?

hadoop - 如何使用bzip2输入格式增加MapReduce的 map task

hadoop - 为什么要对 map reduce 中生成的中间键进行 SORT?

java - Mapreduce 作业配置文件位置

hadoop - 了解作业跟踪器指标

java - 我可以在 Java 中实现端到端加密吗?

java - Java 中的组合与双向关联

java - 与 tFTPConnection 的匿名 ftp 连接