apache-kafka - 将数据从 volt 导出到 kafka

Question

我们正在尝试进行 POC，尝试将数据从 volt db 表导出到 kafka，下面是我遵循的步骤:-

第1步:-准备deployment.xml以启用导出到kafka

<?xml version="1.0"?>
<deployment>
<cluster hostcount="1" kfactor="0" schema="ddl" />
<httpd enabled="true">
    <jsonapi enabled="true" />
</httpd>
<export enabled="true" target="kafka">
<configuration>
<property name="metadata.broker.list">localhost:9092</property>
 <property name="batch.mode">false</property>
 </configuration>
 </export>
 </deployment>

第2步:- 然后Stred the voltdb服务器

 ./voltdb create -d deployment-noschema.xml --zookeeper=2289

第三步:- 创建一个仅导出表并向其中插入一些数据

create table test(x int);
export table test;

insert into test values(1);
insert into test values(2);

此后，我尝试验证 kafka 中是否创建了任何主题，但没有。

./kafka-topics.sh --list  --zookeeper=localhost:2289

我还可以看到导出溢出目录中所有数据的记录。谁能告诉我这里缺少什么部分。

Answer 1

普拉巴特，

在您的具体情况下，您观察到的行为的可能解释是您启动 Kafka 时未将自动创建主题选项设置为 true。导出过程需要 Kafka 启用此功能才能动态创建主题。如果没有，您将必须手动创建主题，然后从 VoltDB 导出。

顺便说一句，虽然您可以使用以 VoltDB 启动的 Zookeeper 来启动 Kafka，但这不是推荐的方法，因为当您关闭 VoltDB 服务器时，您的 Kafka 将不再有 Zookeeper。最好的方法是使用 Kafka 自己的 Zookeeper 来管理您的 Kafka 实例。

请告诉我这是否有帮助 - 谢谢。