我是Hadoop技术堆栈的新手,并且对.Net有点了解,我们有一个运行在Azure服务之上的Cloudera群集,我想知道是否可以在我的C#(.Net Standard / Framework / Core)MapReduce作业上执行集群以执行任何任务。
附言我知道可以为HDInsight做到这一点,但是我找不到任何方法可以使其在Cloudera / Hue上正常工作。
提前致谢。
最佳答案
根据我的经验,如果您想用C#或其他在JVM上不可用的语言编写MapReduce作业,则使用Hadoop / Cloudera的唯一方法是通过Hadoop Streaming。因此,您需要在Mono C#(。Net Standard)或dotNet Core C#中创建两个控制台执行程序,作为Linux上Cloudera的映射器和/或简化器。
希望能帮助到你。
关于c# - 如何在Cloudera Hue上执行C#MapReduce作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46297241/