java - 使用带有java代码的kafka

标签 java apache-kafka

我有一个与 Zookeeper 配合使用的 Kafka 实例。我实际上能够在 Windows 上使用命令行创建生产者消费者,我在生产者上写了一些字符串,它们显示在消费者上。 我现在的目标是使用 Kafka 和一些 Java 代码实现文件“传输”。我想使用 Kafka“读取”然后“写入”一个文件。

为了实现这一点,我使用了这个存储库中可用的代码:

据我了解,SinkConnector 和 TaksConnector 将写入文件,而 SourceConnector 和 SourceTask 将读取文件。

我的问题是我不知道如何在 main 中使用这段代码以及如何将它与 kafka 实例一起使用。

最佳答案

之前您使用的是 Kafka 控制台生产者和消费者。而你在问题中提到的连接器是 Kafka 连接的一部分(你可以阅读更多关于它的信息 here

要使用源连接器和接收器连接器,您必须配置并启动连接工作器。我假设您正在尝试以独立模式运行整个过程。

Quick start page有解释这些连接器用法的步骤。我希望它有所帮助。

关于java - 使用带有java代码的kafka,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44567363/

相关文章:

apache-kafka - 将新代理添加到 Kafka 集群时,现有主题的分区会发生什么变化?

java - Spring 卡夫卡 : Read from two different topics in order

docker - 我如何在 minimesos 中使用马拉松启动 kafka 调度程序?

java - 同一个算法在Java和C中的性能分析

Java int 无法转换为 Double

java - 架构师对 30-50K 对象进行预测搜索?

apache-kafka - 卡夫卡流 : How does rebalancing works between threads?

java - 使用 Jaas 配置进行 Kafka 身份验证

java - 如果发生异常,try-with-resources 会关闭资源吗?

java - 如何递归地遍历一棵树、创建节点、调用函数并进行更深入的研究?