java - 立即转换 Spark 数据帧现有架构

标签 java scala apache-spark apache-spark-sql apache-spark-dataset

我有一个数据框,其所有列都是字符串类型,并且我有一个包含每列所需类型的架构。有没有一种方法可以将转换插入到一个大的 try/catch 子句中并立即动态地隐藏整个模式?我见过的唯一解决方案是专门处理每一列并转换其类型。

最佳答案

尝试:

val newDf = sparkSession.createDataFrame(oldDf.rdd, schema)

关于java - 立即转换 Spark 数据帧现有架构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69790422/

相关文章:

java - 扩展某个类的通用映射到类

java - 是否可以从内部方法返回外部方法?

java - 有没有办法像在 ExecutorCompletionService 中那样在 spring 中轮询一组 Future 对象?

java - 避免带有模式的 getter 链

forms - 玩2形式限制

scala - 使用 Cats Functor 提升函数

apache-spark - 检测到 Guava 问题 #1635,表明正在使用低于 16.01 的 Guava 版本

scala - 在 expr() 中使用 lit()

scala - 打包工件而不发布它

apache-spark - Spark 图x : how to travers a graph to create a graph of second degree neighbors