unix - 在世界范围内同步大量数据的最佳方法是什么?

标签 unix networking synchronization large-files

我拥有大量数据,可以在全局4或5个站点上保持同步,每个站点大约TB。每天变化(添加或更改)大约1.4千兆字节,并且四个站点中的任何一个站点的数据都可以更改。

很大一部分数据(30%)是重复的程序包(也许是打包的JDK),因此该解决方案必须包括一种方法,以获取本地计算机周围存在此类东西并改为获取它们的事实。从另一个站点下载。

版本控制不是问题,这本身不是代码库。

我只是想知道是否有任何解决方案(最好是开源的)能接近这样的事情?

我使用rsync的婴儿脚本不再削减芥末酱,我想做更复杂,更智能的同步。

谢谢

编辑:这应该基于UNIX :)

最佳答案

您尝试过Unison吗?

我已经取得了不错的成绩。基本上,这是一个更智能的rsync,这也许就是您想要的。有 list 比较文件同步工具here

关于unix - 在世界范围内同步大量数据的最佳方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/233966/

相关文章:

unix - 使用 awk 遍历文件列表?

Python subprocess to call Unix commands,一个关于输出如何存储的问题

arrays - 在并行化期间在 Chapel 中使用同步变量时遇到问题

linux - 我可以通过 SSH/HTTP 连接到我的服务器,但无法 ping 通它

java - 使用同步的生产者-消费者

java - 网络上单台机器的多套接字客户端

linux - Shell嵌套for循环和字符串比较

linux - 如何检测使用通配符(星号 *)作为 shell 脚本的参数?

java - Java 中的客户端服务器通信 - 使用哪种方法?

java - 如何使用java程序检测网络中断?