http - Spring XD - 找不到名称为 'ftphdfs' 且类型为 'source' 的模块

标签 http apache-spark hdfs spring-integration spring-xd

我运行 spring-xd-1.3.1.RELEASE 运行时容器,当我尝试使用从 ftp 到 hdfs 的源模块文件时,我在下面给出的 shell 命令中遇到异常。

xd:>module info --name source:ftphdfs
   Command failed org.springframework.xd.rest.client.impl.SpringXDException: Could
   not find module with name 'ftphdfs' and type 'source'

另外,当我尝试将源用作 http 端点时,我在下面给出的 shell 命令中遇到了这样的异常。

                    xd:>module info --name source:http  
                            Information about source module 'http':
                            Injects data from http endpoint.

                              Option Name            Description

                                       Default
                            Type
                              ---------------------  -------------------------------------------------------
                            --------------------------------------------------------------------------------
                            ---------  -------------------------------------------------------------------
                            ---------------------------------
                              https                  true for https://

                                       false
                            boolean
                              maxContentLength       the maximum allowed content length

                                       1048576
                            int
                              messageConverterClass  the name of a custom MessageConverter class, to convert
                             HttpRequest to Message; must have a constructor with a 'MessageBuilderFactory'
                            parameter  org.springframework.integration.x.http.NettyInboundMessageConverter
                            java.lang.String
                              port                   the port to listen to

                                       9000
                            int
                              sslPropertiesLocation  location (resource) of properties containing the locati
                            on of the pkcs12 keyStore and pass phrase
                                       classpath:httpSSL.properties
                            java.lang.String
                              outputType             how this module should emit messages it produces

                                       <none>
                            org.springframework.util.MimeType

我目前使用的技术栈如下。
1) Hadoop 2.7.2
2) Spring-XD-1.3.1.RELEASE
3) Redis 2.6 (Windows 版本) - 我用它作为传输
4) 动物园管理员 3.8

如有任何帮助,我们将不胜感激。

最佳答案

这是一个作业而不是流source...

xd:>module info job:ftphdfs
Information about job module 'ftphdfs':
...

我没有看到上面的 source:http 有异常 - 只是对源的描述。

关于http - Spring XD - 找不到名称为 'ftphdfs' 且类型为 'source' 的模块,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37569298/

相关文章:

scala - 如何使用 SBT 使用 Scala 2.11.1 编译 Apache Spark?

hadoop - 在Hadoop文件系统上执行更新的最佳方法是什么?

node.js - 如何使用node.js http服务器从mongodb返回大量行?

sockets - 空闲超时后 HTTP 代理上的 TCP 套接字断开连接

spring - HTTP 状态 401 - 需要完全身份验证才能访问此资源

hadoop - 为什么SQOOP默认启动4个映射器?

bash - 获取 HDFS 中最后更新的文件夹

perl - 使用 Perl 检查 cookie

java - 从通过读取csv创建的spark数据集中删除第一行

apache-spark - 有没有 hadoop map-reduce 比 apache spark 做得更好的用例?