java - 如何进行ETL流程性能测试

Question

我被要求执行 ETL 流程的性能测试。我使用 Jmeter 进行 Web 应用程序的性能测试，但这是我第一次被要求为 ETL 过程执行此操作。经过研究，我认为我想要实现的是以下步骤，但不知道如何实现它们。

步骤是

• 验证数据加载和查询是否在预期时间范围内执行
• 验证是否在可接受的时间范围内加载了最大预期数据量
• 使用各种数据量验证加载时间以预测可扩展性

注意:我们公司没有使用任何工具来测试 ETL 过程，他们使用 java 进行测试，因此对于性能测试，我不会提供任何付费工具，我将不得不使用开源技术。我的技能包括 java、Jmeter。

Answer 1

我认为 ETL 测试没有任何特定的工具。 您仍然可以引用底层 ETL 工具生成的日志文件，其中包含 CPU 使用情况/数据执行/处理时间等。