string - 如何在映射器中将字符串作为值传递？

Question

我试图将一个字符串作为映射器中的值传递，但得到它不可写的错误。如何解决？

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

    String TempString = value.toString();
    String[] SingleRecord = TempString.split("\t");

    //using Integer.parseInt to calculate profit
    int Amount = Integer.parseInt(SingleRecord[7]);
    int Asset = Integer.parseInt(SingleRecord[8]);
    int SalesPrice = Integer.parseInt(SingleRecord[9]);
    int Profit = Amount*(SalesPrice-Asset);

    String ValueProfit = String.valueOf(Profit);
    String ValueOne = String.valueOf(one);

    custID.set(SingleRecord[2]);
    data.set(ValueOne + ValueProfit);
    context.write(custID, data);

}

Answer 1

雅虎的教程说:
可以通过网络与文件进行编码或从文件编码的对象必须遵循称为 Writable 的特定接口(interface)，该接口(interface)允许 Hadoop 以序列化形式读取和写入数据以进行传输。

从 Cloudera 网站:
键和值类必须可由框架序列化，因此必须实现 Writable 接口(interface)。此外，关键类必须实现 WritableComparable 接口(interface)以方便排序。

所以你需要一个 Writable 的实现将其写为上下文中的值。 Hadoop 附带了一些股票类，例如 IntWritable . String您正在寻找的对应物是 Text类(class)。它可以用作:

context.write(custID, new Text(data));

或者

Text outValue = new Text();
val.set(data);
context.write(custID, outValue)   

我的情况，你需要在值类中专门的功能，你可以实现 Writable (毕竟没什么大不了的)。然而似乎 Text对你来说已经足够了。