一个月前我在 Cascading 工作。现在我们正在尝试在 Scalding 中实现相同的功能。我有一个基本问题。
如何在 Scalding 中定义我的源和接收器模式？
以下是我们在级联中遵循的过程
SrcFields sourcefields = new SrcFields();
SinkFields sinkfields = new SinkFields();
Fields source = sourcefields.sourceFields();
Fields sink = sinkfields.sinkfields();
Scheme sourceScheme = new TextDelimited(source,",");
Scheme sinkScheme = new TextDelimited(sink,",");
最佳答案
在 Scalding 中，您可以使用 Fields based或 Typed接口(interface)，根据Source documentation .以前，您会使用 Csv或 Tsv读或写的类。
对于类型化界面，您将使用 TypedCsv或 TypedTsv类。
您可以在烫毛教程中找到示例:https://github.com/twitter/scalding/blob/develop/tutorial/Tutorial6.scala , https://github.com/twitter/scalding/blob/develop/tutorial/TypedTutorial.scala
关于scala - 如何在 Scalding 中定义源字段，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30168605/