我有 6 个不同的输入数据集。我想对所有 6 个数据集运行 ETL,以便它们都转换为相同的输出表(相同的列和类型)。
我正在使用 Pentaho (Spoon) 来做这件事。
有没有一种方法可以定义一个输出表模式,供 Pentaho 中的所有这些转换使用?我使用 MySQL 作为我的输出数据库。
提前致谢。
最佳答案
听起来您需要“选择值”步骤。将其中一个放在每个数据集路径的最后一跳,并使所有路径的元数据看起来完全相同。然后,您可以将每个“选择值”步骤的输出连接到表输出中。每组中的所有行将按无特定顺序混合在一起。
这可能比看起来更具挑战性。如果任何字段与所有其他数据集中的相应字段不完全相同,Spoon 将抛出错误。您必须找到某种方法使数据集中的所有元数据都相同。
关于mysql - 跨多个转换定义相同的输出表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17054047/