我有以下 C 代码片段,我想用 Cython 包装并在我的 Python 程序中使用:
typedef union my_mat4
{
float Elements[4][4];
#ifdef MAT4_MATH__USE_SSE
__m128 Rows[4];
#endif
} my_mat4;
static inline my_mat4 init_my_mat4(void)
{
my_mat4 Result = {0};
return (Result);
}
我按照以下方式将此代码包装在 mat4.pxd 中:
cdef extern from "mat4.h":
ctypedef union my_mat4:
float Elements[4][4]
my_mat4 init_my_mat4()
cdef class MyClass:
cdef my_mat4 m
cdef object o
和 mat4.pyx 代码:
cdef class MyClass:
def __cinit__(self):
self.m = init_my_mat4()
当我在 Python 中使用 MyClass 时
my_class = MyClass()
Python 退出并显示消息进程已完成,退出代码为 139(被信号 11 中断:SIGSEGV)。
但是,当我从 C union 中禁用 MAT4_MATH__USE_SSE 时,程序运行正常。即使当我从 MyClass 中删除 cdef object o 时,一切运行正常。
我广泛搜索了解决方案,但找不到任何东西。这是某种对齐问题吗?
谢谢, A.
编辑 1:
Python 程序仅在导入模块decimal 并在Cython 扩展模块中编译__m128 时崩溃,因此:
import decimal
my_class = MyClass()
使解释器崩溃(我的 Ubuntu 程序启动器上出现启动图标)
编辑 2:
正如@DavidW 在评论中所说,在这种情况下,导入小数点可能并不重要 - 对他来说,没有导入的程序段错误,通过导入运行。
编辑 3:
正如@PeterCordes 所写,几乎可以肯定这是错位问题。解决方案是从 union 中删除 __m128
成员,并使用 _mm_loadu_ps
生成建议的 load_vec()
或类似的宏。
编辑 4:
另一种解决方案是使用 unaligned__m128
定义为 typedef float __attribute((vector_size(16), aligned(4))) unaligned__m128;
而不是 union 中的 __m128。感谢@PeterCordes。
最佳答案
Is this some kind of alignment problem?
几乎可以肯定。
C 编译器假定 __m128
对象具有 16 字节对齐,并使用 movaps
加载/存储它,或将其用作其他 SSE 指令(如 addps xmm0, [mem]
)的内存操作数。如果指针不有 16 字节对齐,这些使用将在运行时出错。
但您还没有告诉 Python 以任何类型的对齐保证分配 float Elements[4][4]
,因此将指针传递给 C 将使您无效union
对象违反了 union 对其最对齐的成员足够对齐的要求。
如果您不能让 Python 保证您的对象的 16 字节对齐,那么您将不得不更改您的 C 以继续工作(效率稍低)。在启用 AVX 的情况下进行编译(gcc -O3 -march=native
在 AVX CPU 上)将允许编译器使用未对齐的 16 字节 vector 作为内存操作数。但它仍然不会使未对齐的 __m128
安全,因为它仍将使用 vmovaps
而不是 vmovups
进行存储。
现代硬件具有高效的未对齐加载支持,但缓存行拆分仍然不理想。指令数也更糟,因为使用 AVX,编译器将不得不使用单独的 movups
加载而不是 addps xmm0, [mem]
来加载只需要加载一次的数据.
在 C 中,删除 __m128
成员,并使用 _mm_loadu_ps()
进行未对齐加载。
typedef struct my_mat4 { float Elements[4][4]; } my_mat4;
static inline
__m128 load_vec(const struct my_mat4 *m4, size_t idx) {
_mm_loadu_ps(&m4->Elements[idx][0]);
}
使用 GNU C:使用未对齐版本的 __m128
重新定义 union 体
让 Python 对齐您的对象是最有效的,但如果不是,这将让您编译现有代码,只需对对象进行一次更改:
__m128
是根据 GNU C native vector 定义的 in xmmintrin.h#69 . (其他支持 GNU 扩展的编译器是兼容的,至少 clang 是兼容的。)
typedef float __m128 attribute ((vector_size (16), may_alias));
header 已经定义了一个未对齐的__m128_u
,它也使用了aligned(1)
。我们可以使用 aligned(4)
来保证它至少在 float
边界上对齐,以防有帮助。
这很有效,因为同一 vector 类型的不同对齐版本可以自由转换,因此将它传递给内在函数的代码可以在没有警告的情况下进行编译(即使在 -Wall
)。
typedef float __attribute((vector_size(16), aligned(4))) unaligned__m128;
// I left out may_alias, only matters if you're using unaligned__m128* to load from non-float data.
// Probably doesn't hurt code-gen if you aren't using unaligned__m128* at all, just objects
//#define __m128 unaligned__m128 // not needed
typedef union my_mat4 {
float Elements[4][4];
unaligned__m128 Rows[4];
} my_mat4;
使用这种类型的函数编译得很好(gcc8.1 on the Godbolt compiler explorer)。 (您也可以编写 m4->Rows[1] + m4->Rows[2]
,即使是在 C 而不是 C++ 中,因为 GNU C native vector 将 C 运算符映射到每个元素的操作。
__m128 use_row(union my_mat4 *m4) {
__m128 tmp = _mm_add_ps(m4->Rows[1], m4->Rows[2]);
m4->Rows[3] = tmp;
return tmp;
}
只有-O3
(没有-march),我们得到
movups xmm0, XMMWORD PTR [rdi+32] # unaligned loads
movups xmm1, XMMWORD PTR [rdi+16]
addps xmm0, xmm1
movups XMMWORD PTR [rdi+48], xmm0 # unaligned store
ret
但是使用 -mavx
(例如,由 -march=haswell
启用),我们得到
use_row(my_mat4*):
vmovups xmm1, XMMWORD PTR [rdi+32]
vaddps xmm0, xmm1, XMMWORD PTR [rdi+16] # unaligned memory source is ok for AVX
vmovups XMMWORD PTR [rdi+48], xmm0
ret
当然,您希望这些函数内联,我只是将它们设为非内联,这样我就可以查看它们是如何编译的。 (How to remove "noise" from GCC/clang assembly output?)。
顺便说一句,如果您曾经将此 union 用作更广泛结构的成员,则定义 MAT4_MATH__USE_SSE
可以更改 ABI。 结构{int foo; my_mat4 m4; };
如果 my_mat4
对齐,则需要 12 个字节的填充,否则不需要填充。
如果你编译一些有宏定义的 C 和一些没有宏定义的 C,你可以做这样的事情(如果你已经解决了让 Python 对齐对象的问题):
#include <stdalign.h>
// give the same alignment regardless of whether the macro is defined.
typedef union my_mat4
{
alignas(16) float Elements[4][4];
#ifdef MAT4_MATH__USE_SSE
__m128 Rows[4];
#endif
} my_mat4;
如果您不想在宏未定义时保证对齐,则不可以。
关于python - 在 Cython 中使用带有 SSE 内在函数的 C union 会导致 SIGSEGV,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51187592/