OpenFOAM并行测试


  • CORE 网格教授 OpenFOAM教授 管理员

    处理器:志强5120金牌14核心*2

    内存:96G

    求解器:OpenFOAM-5.x

    网格数量:210万六面体

    模型:单相流N-S方程管道quasi-DNS模拟

    0_1540885054546_捕获.JPG


  • 自由表面模型副教授 OpenFOAM教授

    @东岳 56是把所有的逻辑核都用了吗?我听我师兄说CFD并行线程数不要超过物理核数,性能会下降。



  • 楼上的说法我可以提供一点佐证。处理器是至强E5-2679v4,40核心80线程,32G内存。网格数记不清了,大概160到180万多面体-六面体混合网格。VOF,k-omega SST, Sliding Mesh。纵轴是时间,单位是秒,横轴是线程数,图是随手画的,领会精神就好:
    0_1540565217472_4fb1f746-9056-41a4-9a02-6793697a188e-image.png


  • CORE 网格教授 OpenFOAM教授 管理员

    楼上说的很对,验证了。CFD这面并行数量不能超过物理核心数。否则速度大大降低。

    同时,经过测试,超线程关闭与否对计算结果基本没影响。我这几个测试开启超线程与否计算时间区别在20s之内



  • 并行数量不能超过物理核心数,是不是要预留一定的核心给系统进程?


  • CORE 网格教授 OpenFOAM教授 管理员

    @战气凌霄 这方面还没测试,寒假有空试试,不过个人感觉相差基本不大。如果有类似的经验感谢分享


  • CORE 网格教授 OpenFOAM教授 管理员

    更新内置算例一个测试,OpenFOAM-6下simpleFoam的motorBike算例,直接./Allrun运行,注意做了以下修改:decompose分解选择了scotch全自动方法,去除方向性修改的方向影响因素。测试过程中执行时间和钟表时间基本没区别,因此只显示clockTime。计算机网格数量不是特别多,内存、固态硬盘影响因素如果忽略的话

    simpleFoam的运行时间对比:

    志强金牌5120 i7-5820k AMD撕裂者2990w 志强 6142
    2核 385 608 -
    4核 172 356 217 -
    6核 124 295 161 149
    8核 99 - 143 -
    10核 85 - 140 -

    snappyHexMesh的运行时间对比:

    志强金牌5120 i7-5820k 志强 6142
    2核 154 300 -
    4核 86 192 -
    6核 72 160 68
    8核 59 - -
    10核 55 - -

    售价

    建议售价 主频
    志强金牌5120 1555美元 2.2
    i7-5820k 380美元 3.3


  • @东岳 学校的cluster,志强 6142。用的slurm,但是我不会直接提交Allrun,所以就只测试了6核(在本地运行太多怕被网管揍)
    snappyHexMesh, 67.79s
    simpleFoam, 149s
    不过说明上说这个机器不适合MPI运行,最开始的时候出了个warning

    
    [[51384,1],0]: A high-performance Open MPI point-to-point messaging module
    was unable to find any relevant network interfaces:
    
    Module: OpenFabrics (openib)
      Host: dragon2-ctrl0
    
    Another transport will be used instead, although this may result in
    lower performance.
    
    NOTE: You can disable this warning by setting the MCA parameter
    btl_base_warn_component_unused to 0.
    
    

  • CORE 网格教授 OpenFOAM教授 管理员

    @hurricane007 你的openfoam什么版本?6?



  • @东岳 1812



  • @东岳 另外一个cluster上更搞笑,处理器是 志强 5118@2.3G, OF4.1,也是本地运行,均为6核,不过太慢估计是有别的原因
    snappyHexMesh 96.72s
    simpleFoam ExecutionTime 250.07s, ClcokTime 661s。感觉前者比较可信,因为这是个登录和编译用的节点,估计用的人比较多,后台线程比较多了。
    也是有个warning

    --------------------------------------------------------------------------
    WARNING: No preset parameters were found for the device that Open MPI
    detected:
    
      Local host:            lm3-m001
      Device name:           i40iw1
      Device vendor ID:      0x8086
      Device vendor part ID: 14290
    
    Default device parameters will be used, which may result in lower
    performance.  You can edit any of the files specified by the
    btl_openib_device_param_files MCA parameter to set values for your
    device.
    
    NOTE: You can turn off this warning by setting the MCA parameter
          btl_openib_warn_no_device_params_found to 0.
    
    

 

Forest
Mountains