我用三种语言编写了一个比较矩阵乘法性能的简单基准测试 - Fortran(使用 Intel Parallel Studio 2015,使用 ifort 开关编译:/O3/Qopt-prefetch=2/Qopt-matmul/Qmkl:parallel,这用对英特尔 MKL 库的调用替换 MatMul 调用)、Python(使用当前的 Anaconda 版本,包括 Anaconda Accelerate,它提供与英特尔 MKL 库链接的 NumPy 1.9.2)和 MATLAB R2015a(再次使用英特尔 MKL 库)。
鉴于所有三个实现如何利用相同的英特尔 MKL 库进行矩阵乘法,我希望结果几乎相同,尤其是对于大到足以使函数调用开销可以忽略不计的矩阵。然而,事实远非如此,虽然 MATLAB 和 Python 显示出几乎相同的性能,但 Fortran 的性能要高出 2-3 倍。我想了解原因。
这是我用于 Fortran 版本的代码:
program MatMulTest
implicit none
integer, parameter :: N = 1024
integer :: i, j, cr, cm
real*8 :: t0, t1, rate
real*8 :: A(N,N), B(N,N), C(N,N)
call random_seed()
call random_number(A)
call random_number(B)
! First initialize the system_clock
CALL system_clock(count_rate=cr)
CALL system_clock(count_max=cm)
rate = real(cr)
WRITE(*,*) "system_clock rate: ", rate
call cpu_time(t0)
do i = 1, 100, 1
C=MatMul(A,B)
end do
call cpu_time(t1)
write(unit=*, fmt="(a24,f10.5,a2)") "Average time spent: ", (t1-t0), "ms"
write(unit=*, fmt="(a24,f10.3)") "First element of C: ", C(1,1)
end program MatMulTest
请注意,如果您的系统时钟速率不像我的情况那样是 10000,则您需要相应地修改计时计算以产生毫秒数。
Python 代码:
import time
import numpy as np
def main(N):
A = np.random.rand(N,N)
B = np.random.rand(N,N)
for i in range(100):
C = np.dot(A,B)
print C[0,0]
if __name__ == "__main__":
N = 1024
t0 = time.clock()
main(N)
t1 = time.clock()
print "Time elapsed: " + str((t1-t0)*10) + " ms"
最后是 MATLAB 片段:
N=1024;
A=rand(N,N); B=rand(N,N);
tic;
for i=1:100
C=A*B;
end
t=toc;
disp(['Time elapsed: ', num2str(t*10), ' milliseconds'])
在我的系统上,结果如下:
Fortran: 38.08 ms
Python: 104.29 ms
MATLAB: 97.36 ms
在所有三种情况下,CPU 使用率都无法区分(在计算期间启用 HT 的 i7-920D0 处理器上使用稳定的 47-49%)。此外,对于任意大小的矩阵,相对性能大致相同,但对于非常小的矩阵(N<80 左右),在 Fortran 中手动禁用并行化是有用的。
这里的差异是否有确定的原因?难道我做错了什么?我预计至少对于较大的矩阵,Fortran 在这种情况下不会有任何有意义的优势。
最佳答案
这里有两个问题:
- 在 Python 中,您对随机初始化和计算进行计时,而在 Fortran 和 MATLAB 中则不需要
- 在 Fortran 中,您在测量 Python 和 MATLAB 中耗时时测量 CPU 时间。由于您注意到 CPU 使用率约为 46%,这可能只是造成差异的原因。
只需修复这两个问题并重试...为此,您可以考虑使用 date_and_time()
而不是 cpu_time()
。
关于performance - Fortran/Python/MATLAB 之间 MKL 矩阵乘法性能的特殊差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32587428/