c - OpenMP-无输出

Question

我有一个 C 代码，需要与 openMP 进行并行化。代码本身串行运行良好，但并行运行时则不然。该代码正在使用 PBS 运行，并且我已包含批处理脚本。

该代码有两个并行化区域，都在一个时间循环内，最后变为串行以打印输出文件。理想情况下，每个时间步长有一个输出。

串行地，我每个时间步输出一个文件，但并行地，它输出第一个文件，并继续无限期地运行，不输出任何内容(包括错误文件，包括自制错误和系统错误)。

代码

.#pragma omp parallel for default(none) private (dudx2, dudy2, dudz2, du, /*I_gap, I_gap2,*/ Ii, x, y, z) shared (V, Vnew, /*v_fibro,*/ hh) schedule(static)
     for (z=1;z<Z;z++) {
            for (y=1;y<Y;y++)
                for (x=1;x<X;x++)
                     if (hh[x][y][z] > 0) {


            dudx2 = (V[x - 1][y][z] + V[x + 1][y][z] - 2 * V[x][y][z]) ;
            dudy2 = (V[x][y - 1][z] + V[x][y + 1][z] - 2 * V[x][y][z]) ;
            dudz2 = (V[x][y][z - 1] + V[x][y][z + 1] - 2 * V[x][y][z]);

            du = (D/(dx*dx))*((dudx2)  + (dudy2)  + (dudz2))  ;


            Ii = MYO(x,y,z); //calls function with multiple multi-dimen' arrays

                       Vnew[x][y][z] = V[x][y][z] + dt * (du - Ii );
       }
     }





.#pragma omp parallel for default(none) shared (V, Vnew, hh) private (x, y, z) schedule(static)
            for (z=0;z<=Z;z++) {
                    for (y=0;y<=Y;y++)
                            for (x=0;x<=X;x++){
                                                            if (hh[x][y][z] > 0) 
                               V[x][y][z]=Vnew[x][y][z];

                            }

            }

                        sprintf(str2,"V%d.vtk",tab);
            fprintf(outp,"%s\n",str2);
            userfile=fopen(str2,"wt");
            if(userfile==NULL) fprintf(outp,"Could not open%s\n.",str2);

                    tab++;

                    fprintf(userfile,"vtk header\n");




                for (z=0;z<Z;z++){
                    for (y=0;y<Y;y++){
                        for (x=0;x<X;x++){      
                        fprintf(userfile,"%g ",Vnew[x][y][z]);                      
                            }

注释

-多维数组为 200x200x200，其中有 20 多个无法实际减少(代表 3d 组织中的生物细胞特性)

这促使我们调查内存错误的可能性。因此我们更改了批处理脚本以允许每个处理器 8GB

-代码包括 omp_set_num_threads (64) 和编译行是；

gcc -lm -lgomp -fopenmp -03 filename.c -o test ("-mcmodel=medium" has been trialed)

-批处理脚本是

mppwidth 和 aprun 不运行

.#!/bin/bash
.#PBS -l nodes=1:ppn=64
.#PBS -l mem=512G
.#PBS -M email adress@gmail.com
.#PBS -l walltime=20:00:00
.#PBS -N test
.#PBS -o ./
.#PBS -e ./

.#Modules!
. /etc/profile.d/modules.sh

module purge 

.#(Intel compilers)
.# source /opt/intel/composer_xe_2011_sp1.7.256/bin/compilervars.sh intel64
module load intel/composerxe/13.0.0

cd $PBS_O_WORKDIR

export OMP_NUM_THREADS=64

./test

提前致谢，并对糟糕的拼写语法和格式等表示歉意。

Answer 1

这是一个简单的例子:

#include <stdio.h>
#include <math.h>
#include <sys/time.h>

#define OMP_NUM_THREADS 4
#define X 50
#define Y 50
#define Z 50

double dtime(){
 double t;
 struct timeval tv;
 gettimeofday(&tv, NULL);
 t = tv.tv_sec + ((double)tv.tv_usec)/1e6;
 return t;
}

int main(int argv, char **argc){
 double V[X][Y][Z];
 double Vnew[X][Y][Z];
 int z;

 for (int z=0;z<Z;z++)
  for (int y=0;y<Y;y++)
   for (int x=0;x<X;x++)
    V[x][y][z] = 3.*x+2.*y+z;

double t0 = dtime();
#pragma omp parallel for shared(V, Vnew)
 for(z=1;z<Z;z++)
  for(int y=1;y<Y;y++)
   for(int x=1;x<X;x++)
     Vnew[x][y][z] = sin(V[x][y][z])*cos(V[x][y][z])+log(V[x][y][z]);
 printf("time: %g\n", dtime() - t0);
 FILE *userfile=fopen("out" ,"w");
 fprintf(userfile,"vtk header\n");
 for (z=0;z<Z;z++)
  for (int y=0;y<Y;y++)
   for (int x=0;x<X;x++)
    fprintf(userfile,"%g ",Vnew[x][y][z]);
}

编译:

gcc -std=gnu99 -fopenmp -lm 1.c

在我的机器(4 核)上运行后，它给出:

time: 0.0224061

当我评论#pragma omp时，我得到:

time: 0.059217