我正在每隔500到10000条记录处理一次consumpkafka民意调查消息,而每30秒一次进行一次nifi迭代。我想在所有工作完成后查询下一次迭代时使用kafkafka。但是消耗卡处理器不支持上游连接。
一旦puthdfs成功,我需要在这里使用下一个迭代,我提到了nifi工作流程。
工作流程:
Consumerkafka-> mergecontent-> convertRecord-> updateattribute-> puthdfs
最佳答案
消费kafka之后,您可以使用等待处理器:
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.6.0/org.apache.nifi.processors.standard.Wait/index.html
在puthdfs之后释放信号
关于hadoop - Nifi消耗卡夫卡不接受上游连接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61061171/