我有一个由一个主节点和多个从属节点组成的Apache Spark集群。在每个节点的jars文件夹中，我需要一个在Spark上运行的程序的jar文件。
该jar会定期更新，因此我发现自己不断地复制更新的jar文件。
有没有一种快速简便的方法可以将更新的jar文件从主服务器复制到所有从属节点，或以其他任何方式在每次jar更新时分发此文件？
最佳答案
使用spark-submit运行Spark作业时，请使用--jars选项。使用此选项，您可以将路径写入所需的jar文件。
另外，--jars选项中的jar将自动传输到集群，因此仅在主节点上需要此jar。
阅读有关如何使用此选项here的信息。
关于hadoop - 将更新的jar文件复制到Spark上的每个从属节点，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48774103/