Spark 中的数据帧可以从外部文件创建。有没有办法使用多个文件来创建单个对象？
例如: 如果我说一个 csv 文件或 parquet 文件记录了相同的数据(比如一周中某一天购买的商品的数量)。有没有办法从每天的文件中初始化单个数据框，以获得代表一周购买数据的单个数据框？
最佳答案
spark 从文件读取输入的方式取决于底层 Hadoop API。这意味着它们通常会扩展相同的用途，包括能够处理压缩文件或多个文件。
在您的情况下，您只需使用通配符提供文件输入或用逗号单独分隔。请参阅How to read multiple text files into a single RDD?
关于apache-spark - 从多个源创建单个 Spark Dataframe？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38447494/