超算平台上多版本编译OF,串行无误并行出错?



  • 超算平台背景
    超算使用PBS任务提交系统。日常通过putty登录到超算的“登录节点”,后“ssh nodeXXX”连接到超算的“计算节点”。我在ssh后的节点上然后通过alias方式编译了OpenFOAM的20x、240和foam-extend4.0,编译时用的编译器是系统自带编译器,mpi则是对应ThirdParty中的openmpi。编译过程无错误。
    问题:
    ssh到计算节点,of20x调整到OpenFOAM环境,使用“qsub -V name.pbs”提交任务时报错如下,完整版报错文件见附件[0_1529318399026_log1.ABLSolver](正在上传 100%) :
    0_1529318366145_QQ截图20180618183849.jpg
    感觉OpenFOAM编译应该没问题:1.单核运行没错误;2.在另一个超算账户试过单版本OpenFOAM的编译,正确计算无错。所以,怀疑是我多版本编译有问题,请问大神有遇到过么?




  • OpenFOAM教授

    出错信息比较明显了:
    attempt to run parallel on 1 processor

    你的pbs作业提交脚本有问题。



  • 如果你decompose了,并且脚本中的任务信息描述正确,可以试一下把running command改成:mpirun.openmpi -np 512 solver_name -parallel;
    在提交到超算前,可以先在自己电脑上并行跑一下看有没有错误。



  • 多谢诸位,麻烦大家了。

    1. @wwzhao PBS脚本在单版本OF的超算账户下运行正常,这套脚本用了3年,以前一直是单版本OF,最近在超算新开了一个账户,打算在超算alias安装多版本OF后就出错了,难道多版本OF的作业脚本不一样?PBS脚本附后。
    2. @sibo 我进行decompose了,采用scotch和simple都试过。单节点28核运行时,processor0~27,在我看来是正常的。另外,mpirun.openmpi提示命令没有找到?为什么会有"dot openmpi"?我用的是OpenMPI-1.5.3。
    3. 我后来去掉了$HOME/.bashrc里的alias相关语句,换成单版本的OF20x环境并更新,提交原来任务,就可以计算了。不过还是提示Warning,就是第一张图那个说“无预设参数采用默认参数”的Warning。单版本OF账户是没有的,但因为现在可以正常计算下去,所以就没有处理——现在这样子切换OF版本麻烦了些,得手动改.bashrc文件,没有alias方便,但计算过程正常。




  • @aiweimo
    系统环境变量都用 alias 表示,然后在 PBS 脚本里边 source 你所用版本的 OF 和 MPI 环境。这样试试看呢。


  • OpenFOAM教授

    @aiweimo 这个warning可能和openmpi中的openib驱动有关,你尝试着输入 ompi_info | grep openib 看看有没有相关的MCA btl



  • @aiweimo It should be fine using multiple versions of OF. I have OF2.1, 4 and 5.x in my account. However, don’t use alias to source your OF in alias. Use

    echo "Source OpenFOAM"
    source $HOME/OpenFOAM/OpenFOAM-5.x/etc/bashrc WM_LABEL_SIZE=64 WM_COMPILER_TYPE=ThirdParty WM_COMPILER=Gcc48 WM_MPLIB=OPENMPI FOAMY_HEX_MESH=yes

    Sorry I lost my Chinese input somehow.



  • @aiweimo 您好,请问怎么在red hat系统的超算平台上编译foam-extend-4.0,是否方便分享一些参考资料或者经验?



  • @buaa_hgj 我就是参考官方教程和wiki上的安装教程进行编译的,另外有些用于后处理的如ParaView, Qt, qmake我直接跳过了,因为我们不在超算上做后处理。整个安装过程没什么特殊的设置,就是注意跳过与后处理相关的包就可以了(当然编译后处理包也可以)。建议查看wiki和官方安装教程,另外下面是我的一个个人安装记录,可供参考:
    0_1531106488123_QQ截图20180709112108.jpg



  • @aiweimo 非常感谢。