apache-kafka - 使用 Kafka Connect Distributed 创建连接器返回 500 错误

Question

我正在努力从 Camus 迁移到 Kafka Connect。我正在致力于 Kafka Connect 的实现，特别关注分布式模式。我能够在本地计算机上成功启动工作程序，我假设该计算机与我的 Kafka 集群进行通信。我还可以运行两个 GET 命令，例如 / 和 /connector-plugins，它们返回正确的 JSON。但是，当我尝试 POST 命令来创建连接器时，我收到 500 错误和超时。具体来说，我使用这个命令来POST进行测试:

curl -X POST -H "Content-Type: application/json"--data '{"name": "local-file-sink", "config": {"connector.class":"FileStreamSinkConnector", "tasks.max":"1", "file":"test.sink.txt", "topics":"myTopic"}}' localhost:8083/connectors

最终我得到了这样的回复:

{"error_code": 500, "message": "请求超时"}

我不知道发生了什么。我的 Kafka Connect 分布式工作线程的日志显示了这一点:

[2016-12-05 14:34:32,436] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:22:34:32 +0000] "GET /connector-plugins HTTP/1.1" 200 315  2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:25,422] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:25 +0000] "GET /connector-plugins HTTP/1.1" 200 315  3 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:05:28,389] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:28 +0000] "GET /connector-plugins HTTP/1.1" 200 315  2 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:38,644] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:06:08 +0000] "GET /connectors HTTP/1.1" 500 48  90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:07:44,450] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:07:44 +0000] "GET /connector-plugins HTTP/1.1" 200 315  1 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:13:06,703] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:11:36 +0000] "POST /connectors HTTP/1.1" 500 48  90003 (org.apache.kafka.connect.runtime.rest.RestServer:60)
[2016-12-05 15:15:38,506] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:14:08 +0000] "POST /connectors HTTP/1.1" 500 48  90005 (org.apache.kafka.connect.runtime.rest.RestServer:60)

您可以在其中查看错误代码和命令。

我想我的主要问题是:

1. 如何更好地调试 Kafka Connect 以便尝试解决此问题？
2. 我所做的事情有明显错误吗？
3. 是否有关于运行 Kafka Connect 分布式工作线程和连接器的分步文档或博客文章？我还没有真正看到任何东西，甚至没有看到最佳实践类型的文档？也许我只是太早采用了。

我期待收到社区的回复，并感谢您的帮助!

Answer 1

我能够解决这个问题。我在客户端和集群上运行 Confluence Platform 3.0.1。我将集群升级到 Confluence Platform 3.1.1，将客户端升级到新版本。我能够启动集群。此外，您可以通过阅读 Kafka 用户组上关于同一问题的线程来了解有关调试 Kafka Connect 的更多信息:

http://mail-archives.apache.org/mod_mbox/kafka-users/201612.mbox/%[email protected]%3e

希望这对其他人有帮助。