我希望这是一个提问的好地方,否则请将我重定向到正确的论坛。 我有大量数据(~400GB)需要分发到集群中的所有节点(~100 个节点)。任何有关如何执行此操作的帮助将不胜感激,以下是我尝试过的方法。 我正在考虑使用种子来做这件事,但我遇到了很多问题。这些是我尝试过的步骤:
- 我下载了 ctorrent 以创建 torrent 和种子并下载它。我遇到了问题,因为我没有智能设备。
- 我发现 qbittorrent-nox 有一个嵌入式跟踪器,所以我将其下载到我的一个节点上并设置了跟踪器。
- 我现在使用我创建的跟踪器创建了 torrent,并将其复制到我的节点。
当我在包含实际数据的节点上运行带有 ctorrent 的 torrent 以播种我得到的数据时:
Seed for others 72 hours - 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
当我在其中一个节点上运行以下载我得到的数据时:
- 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
看来他们没有连接到跟踪器 ok,但我不知道为什么
我可能做错了什么,但我想不通。 如果有人可以帮助我做我正在做的事情,或者有任何有效分发数据的方法,即使没有种子,我也会很高兴听到。
提前感谢您提供的任何帮助。
最佳答案
but the node thats supposed to be seeding thinks it has 0% of the file, and so it doesn't seed.
如果您使用工具 A 创建元数据文件 (.torrent
),然后想使用工具 B 为它播种,那么您需要将 B 指向元数据和数据(内容文件)本身。
I know it is a different issue now, and might require a different topic, but Im hoping you might have ideas.
您应该创建一个新问题,这样您就有更多空间提供详细信息。
关于cluster-computing - 在集群上分发数据(使用种子?),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46541713/