c++ - 对宽寄存器(特别是 Xeon Phi)进行未对齐数据访问的矢量化/优化循环

Question

这是我第一次向 Stackoverflow 社区提问。抱歉，如果我的问题不适合论坛的风格/大小 - 会随着经验的增加而改进。

我正在尝试使用英特尔编译器 14.0.1 对 C++ 中的循环进行矢量化，以更好地利用宽 512 位寄存器在英特尔至强融核上进行速度优化。 (受 https://software.intel.com/en-us/articles/data-alignment-to-assist-vectorization 启发)和谷歌上的大量引用资料表明，数据对齐在 Xeon Phi 上比在现代 Xeon 处理器上重要得多，在现代 Xeon 处理器上它仍然很重要(其中一个在第 18 页的漂亮概述 https://indico.cern.ch/event/238763/material/slides/6.pdf 中)。

这个问题有点类似于unaligned memory accesses ，但涵盖了一个更简单/更广泛的示例，并希望有一个更明确的答案。

一段代码示例:

#include <malloc.h>


void func(float *const y, float  *const x, const int & N, const float & a0, const float & a1, const float & a2, const float & a3)
{
    __assume(N%16 == 0); // aim is to let compiler know that there is no residual loop (not sure if it works as expected, though)

    int i;
#pragma simd // to assume no vector dependencies
#pragma loop count min=16, avg=80, max=2048 // to let compiler know for which cases to optimize (not sure if it is beneficial)
//#pragma vector aligned // to let compiler know that all the arrays are aligned... but not in this case
    for (i = 0; i < N; i++)
    {
        y[i] = fmax(x[i + 1] * a0 + x[i] * a1, x[i] * a2 + a3);
    }

}

int main{

...
//y and x are _mm_malloced with 64 byte alignment, e.g.

float * y = (float *)_aligned_malloc(int_sizeBytes_x_or_y + 64, 64); //+64 for padding to enable vectorisation without using mask on the residual loop
float * x = (float *)_aligned_malloc(int_sizeBytes_x_or_y + 64, 64);
...
//M = 160 to 2048, more often 160 (a multiple of 16 - floats per register)
for (int k = 0; k < M; k++)
{
...
//int N = ceil(k / 16.0) * 16; // to have no residual loop, not sure if beneficial
...


func(y, x, N, a0, a1, a2, a3);


...
}
...
_aligned_free(x);
_aligned_free(y);
}

func() 在主体中被调用了 150-2000 次，重新使用 x 和 y 的预分配空间(以避免持续的内存分配，据推测，这在 Phi 上比在正常情况下更耗时至强)。 body 在每个核心上重复数百万次。

问题是 x[i] 和 x[i+1] 对于 512 位 vector 引擎来说本质上是未对齐的，由于 x[i+1] 部分的内存访问未对齐，使得向量化次优。

在 k++ 循环之前预先分配一个 64 字节对齐的 _x 一次，在 k++ 循环的每次迭代中执行 memcpy 以使用 x 的前向值填充预分配的内存是否有任何好处？ (相当于 for (int j=0; j<N; j++) _x[0]=x[i+1]; with memcpy ) 以便#pragma vector aligned 可以在 func() 中使用 y[i] = fmax(_x[i] * a0 + x[i] * a1, x[i] * a2 + a3); ？

是否有一些好的方法可以有效地处理这个相当普遍的标准问题，以充分利用 vector 引擎？

关于如何优化宽寄存器处理器矢量化的任何建议也非常受欢迎(这似乎是一个非常有趣的话题，最近英特尔的趋势是增强数据和任务并行性)

Answer 1

即使在这种情况下，也最好让编译器知道数组是对齐的。如: __assume_aligned(x,64) __assume_aligned(y,64)

至于 __assume(N%16 == 0)，这有时会有所帮助，但您会发现它最常用于具有内循环和外循环的代码中。 N%16 不等于 0 时产生的残差循环，如果只命中一次，代价很小。但是在这种情况下，您将重复调用该函数。因此，它可能有助于获得更大的 M 值。

分配第二个数组并用从 x[1] 开始的值填充它不是一个好主意。与稍微未对齐的内存访问相比，memcpy 过于昂贵。

您可以尝试重写您的代码以使用 _mm512_alignr_epi32 内在函数。我试图找到一个很好的例子来指出你，但还没有找到。但是在这种情况下，使用 _mm512_alignr_epi32 可能不会给你带来太多好处，因为你只使用了 2 个 vector 。