我想问一个奇怪的问题。我有一个hadoop项目,我想比较hadoop和mysql的时间性能。我已经制作了 hadoop 应用程序来计算一些东西。如果翻译成 SQL,该应用程序将成为 COUNT 个查询并连接某个表。
首先,我尝试在 SQL 上使用具有大约 100.000 条记录的小表,它查询大约 0.3 或 0.4 秒。所以,我想复制和扩大记录更多的表,看看hadoop比mysql的特性。复制数据可以使 hadoop 比 mysql 更好吗?或者我还能做些什么来证明 hadoop 的时间性能优于 mysql?
最佳答案
为了获得比mysql更好的性能,你的数据量应该非常庞大。例如,如果您的数据是 1GB 。您将并行运行 16 个 Mappers。如果您的数据小于 64 MB,您将使用单个 Mapper,在这种情况下您不会看到性能提升。因此,请确保您的数据足够大以测试性能。
关于mysql - 如何使 mysql 在运行查询时比 hadoop 慢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29697522/