java - 从我的桌面连接到 Cloudera VM

标签 java hadoop cloudera

我在我的 Windows 7 笔记本电脑上下载了 Cloudera VM 来试用。我 我正在尝试连接到在 VM 中运行的 Hadoop 实例 window 。我做了一个 ifconfig 并获得了 VM 的 IP 地址。我可以 从运行的 Firefox 连接到 VM 中运行的 Web 界面 在我的 Windows 机器上,所以我知道我至少可以连接到它。

接下来,我尝试从 Java 连接到 Hadoop。

public class FileSystemWriter
{

static
        {
                URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() );
        }

        public static void main( String[] args ) throws Exception
        {
                String uri = "hdfs://192.168.171.128/user";
                Configuration conf = new Configuration();

                System.out.println( "uri: " + uri );

                FileSystem fs = FileSystem.get( URI.create( uri ), conf );
       }

} 

但是我得到错误。

uri: hdfs://192.168.171.128/user

Aug 9, 2011 8:29:26 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
0 time(s).
Aug 9, 2011 8:29:28 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
1 time(s).
Aug 9, 2011 8:29:30 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
2 time(s).

谁能帮帮我?

最佳答案

首先,尝试通过 hftp 连接。

        uri = "hftp://172.16.xxx.xxx:50070/";

        System.out.println( "uri: " + uri );           
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get( URI.create( uri ), conf );
        fs.printStatistics();

如果您看到某些东西(没有异常(exception)),那么您已连接。

如果你不这样做,那么你的问题不是 HDFS,而是你的问题是你的 ip 错误,或者 hadoop 没有运行,或者你的端口被阻止......等等......

关于java - 从我的桌面连接到 Cloudera VM,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6997327/

相关文章:

java - java中是否可以回调外部嵌套类?

c# - Java和C#传值区别

java - 是否可以在不依赖 Hadoop 和 HDFS 的情况下使用 Java 读写 Parquet?

hadoop - 如果他有权访问 HDFS 中的表文件,那么对表没有 Sentry 权限的用户如何执行查询?

java - 使用带有 restito 的自定义内容类型模拟 REST 请求

java - 使用 Disruptor 和 Executors 在 Java 中设计 Orchestrator

hadoop - 针对 cassandra 使用 hadoop mapreduce 的示例代码

hadoop - Hortonworks练习考试-将文件从本地计算机复制到hdfs错误

hadoop - 如何为Kafka和Zookeeper设置JAVA_HOME Cloudera快速入门

hadoop - 是否可以在 hive 2.1.1 上读取 parquet INT64 时间戳?