cluster-computing - 在集群上分发数据(使用种子?)

标签 cluster-computing file-transfer bittorrent

我希望这是一个提问的好地方,否则请将我重定向到正确的论坛。 我有大量数据(~400GB)需要分发到集群中的所有节点(~100 个节点)。任何有关如何执行此操作的帮助将不胜感激,以下是我尝试过的方法。 我正在考虑使用种子来做这件事,但我遇到了很多问题。这些是我尝试过的步骤:

  1. 我下载了 ctorrent 以创建 torrent 和种子并下载它。我遇到了问题,因为我没有智能设备。
  2. 我发现 qbittorrent-nox 有一个嵌入式跟踪器,所以我将其下载到我的一个节点上并设置了跟踪器。
  3. 我现在使用我创建的跟踪器创建了 torrent,并将其复制到我的节点。
  4. 当我在包含实际数据的节点上运行带有 ctorrent 的 torrent 以播种我得到的数据时:

     Seed for others 72 hours
     - 0/0/1 [1/1/1] 0MB,0MB | 0,0K/s | 0,0K E:0,1 Connecting
    
  5. 当我在其中一个节点上运行以下载我得到的数据时:

     - 0/0/1 [0/1/0] 0MB,0MB | 0,0K/s | 0,0K E:0,1
    
  6. 看来他们没有连接到跟踪器 ok,但我不知道为什么

我可能做错了什么,但我想不通。 如果有人可以帮助我做我正在做的事情,或者有任何有效分发数据的方法,即使没有种子,我也会很高兴听到。

提前感谢您提供的任何帮助。

最佳答案

but the node thats supposed to be seeding thinks it has 0% of the file, and so it doesn't seed.

如果您使用工具 A 创建元数据文件 (.torrent),然后想使用工具 B 为它播种,那么您需要将 B 指向元数据和数据(内容文件)本身。

I know it is a different issue now, and might require a different topic, but Im hoping you might have ideas.

您应该创建一个新问题,这样您就有更多空间提供详细信息。

关于cluster-computing - 在集群上分发数据(使用种子?),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46541713/

相关文章:

R,多重对应分析后的层次聚类问题

performance - 使 qsub 阻塞直到工作完成?

JSF 2.0——跨集群共享或Prime OmniFaces组合资源缓存

service - 本地计算机上的 Datastax cassandra 社区服务器 2.1.10 服务启动然后停止

amazon-web-services - 使用 AWS S3 作为 SFTP 的替代品

python - 选择要下载文件的哪一部分

python - 为 torrent 创建对等请求

android - 如何使用 NFC 将文件从 (windows) PC 发送到 android/ios?

Java:BufferedReader 读取多于一行?

sockets - 比特流协议(protocol)。同一对等方之间的多次下载