java - 带下划线的 spark 数据集到 java 对象映射字段

Question

spark 中的数据集有一个名称为 no_of_items 的列。在相应的 Java 模型(产品)中，我有一个名为 noOfItems 的列。现在，当我使用以下代码将数据集转换为数据集时

df.as(Encoders.bean(Product.class));

它抛出以下异常

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`noOfItems`' given input columns: [category, sub_category, no_of_items];

如何解决？

Answer 1

在将df转换为dataset之前，重命名该列，

df.withColumnRenamed("no_of_items", "noOfItems").as(Encoders.bean(Product.class));