Navigation

    CFD中文网

    CFD中文网

    • Login
    • Search
    • 最新

    超算平台上多版本编译OF,串行无误并行出错?

    OpenFOAM
    5
    12
    5515
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • aiweimo
      aiweimo last edited by

      超算平台背景:
      超算使用PBS任务提交系统。日常通过putty登录到超算的“登录节点”,后“ssh nodeXXX”连接到超算的“计算节点”。我在ssh后的节点上然后通过alias方式编译了OpenFOAM的20x、240和foam-extend4.0,编译时用的编译器是系统自带编译器,mpi则是对应ThirdParty中的openmpi。编译过程无错误。
      问题:
      ssh到计算节点,of20x调整到OpenFOAM环境,使用“qsub -V name.pbs”提交任务时报错如下,完整版报错文件见附件[0_1529318399026_log1.ABLSolver](正在上传 100%) :
      0_1529318366145_QQ截图20180618183849.jpg
      感觉OpenFOAM编译应该没问题:1.单核运行没错误;2.在另一个超算账户试过单版本OpenFOAM的编译,正确计算无错。所以,怀疑是我多版本编译有问题,请问大神有遇到过么?

      aiweimo 1 Reply Last reply Reply Quote
      • aiweimo
        aiweimo @aiweimo last edited by

        0_1529318637752_log1.pdf

        1 Reply Last reply Reply Quote
        • W
          wwzhao 教授 last edited by

          出错信息比较明显了:
          attempt to run parallel on 1 processor

          你的pbs作业提交脚本有问题。

          1 Reply Last reply Reply Quote
          • sibo
            sibo last edited by

            如果你decompose了,并且脚本中的任务信息描述正确,可以试一下把running command改成:mpirun.openmpi -np 512 solver_name -parallel;
            在提交到超算前,可以先在自己电脑上并行跑一下看有没有错误。

            1 Reply Last reply Reply Quote
            • aiweimo
              aiweimo last edited by

              多谢诸位,麻烦大家了。

              1. @wwzhao PBS脚本在单版本OF的超算账户下运行正常,这套脚本用了3年,以前一直是单版本OF,最近在超算新开了一个账户,打算在超算alias安装多版本OF后就出错了,难道多版本OF的作业脚本不一样?PBS脚本附后。
              2. @sibo 我进行decompose了,采用scotch和simple都试过。单节点28核运行时,processor0~27,在我看来是正常的。另外,mpirun.openmpi提示命令没有找到?为什么会有"dot openmpi"?我用的是OpenMPI-1.5.3。
              3. 我后来去掉了$HOME/.bashrc里的alias相关语句,换成单版本的OF20x环境并更新,提交原来任务,就可以计算了。不过还是提示Warning,就是第一张图那个说“无预设参数采用默认参数”的Warning。单版本OF账户是没有的,但因为现在可以正常计算下去,所以就没有处理——现在这样子切换OF版本麻烦了些,得手动改.bashrc文件,没有alias方便,但计算过程正常。
              aiweimo W sibo 3 Replies Last reply Reply Quote
              • aiweimo
                aiweimo @aiweimo last edited by

                @aiweimo 0_1529372749945_QQ截图20180619094534.jpg

                浪 1 Reply Last reply Reply Quote
                • 浪
                  浪迹天大 @aiweimo last edited by

                  @aiweimo
                  系统环境变量都用 alias 表示,然后在 PBS 脚本里边 source 你所用版本的 OF 和 MPI 环境。这样试试看呢。

                  OpenFOAM 学习交流:https://openfoam.top

                  1 Reply Last reply Reply Quote
                  • W
                    wwzhao 教授 @aiweimo last edited by

                    @aiweimo 这个warning可能和openmpi中的openib驱动有关,你尝试着输入 ompi_info | grep openib 看看有没有相关的MCA btl

                    1 Reply Last reply Reply Quote
                    • sibo
                      sibo @aiweimo last edited by

                      @aiweimo It should be fine using multiple versions of OF. I have OF2.1, 4 and 5.x in my account. However, don't use alias to source your OF in alias. Use

                      echo "Source OpenFOAM"
                      source $HOME/OpenFOAM/OpenFOAM-5.x/etc/bashrc WM_LABEL_SIZE=64 WM_COMPILER_TYPE=ThirdParty WM_COMPILER=Gcc48 WM_MPLIB=OPENMPI FOAMY_HEX_MESH=yes

                      Sorry I lost my Chinese input somehow.

                      1 Reply Last reply Reply Quote
                      • B
                        buaa_hgj last edited by

                        @aiweimo 您好,请问怎么在red hat系统的超算平台上编译foam-extend-4.0,是否方便分享一些参考资料或者经验?

                        aiweimo 1 Reply Last reply Reply Quote
                        • aiweimo
                          aiweimo @buaa_hgj last edited by

                          @buaa_hgj 我就是参考官方教程和wiki上的安装教程进行编译的,另外有些用于后处理的如ParaView, Qt, qmake我直接跳过了,因为我们不在超算上做后处理。整个安装过程没什么特殊的设置,就是注意跳过与后处理相关的包就可以了(当然编译后处理包也可以)。建议查看wiki和官方安装教程,另外下面是我的一个个人安装记录,可供参考:
                          0_1531106488123_QQ截图20180709112108.jpg

                          B 1 Reply Last reply Reply Quote
                          • B
                            buaa_hgj @aiweimo last edited by

                            @aiweimo 非常感谢。

                            1 Reply Last reply Reply Quote
                            • First post
                              Last post

                            CFD中文网 | 东岳流体 | 京ICP备15017992号-2
                            论坛登录问题反馈可联系 li.dy@dyfluid.com