集群上并行测试OpenFOAM，并行效率并没有比单节点提升
-
请教大家，我在课题组刚配置的集群上测试OpenFOAM并行效率，一共有320核心，单节点64核心。
我测试1500万网格的算例，单节点运行单步大约19秒，当采用两个节点时，单步11.5秒，并未提升明显。进一步增至3个节点时，计算反而减慢。
第二个LES算例，2000万左右网格，在其他超算平台上测试过采用336核心大约只需要5-6秒，但是在我们自己的集群上我采用4-5个节点，最快都得20秒，明显跨节点通讯有问题。
我采用的编译器是Intel-2018和IntelMPI。因为我们还测试过FLUENT的并行效率，没有出现问题，所以猜测不是硬件的问题，请问有可能是openfoam哪里配置出现问题？
-
-
交换机带宽多大的？
-
集群多少钱买的？
-
并行计算相关设置都是你自己搭建的？
-
-
比表现性能也没有比只核数的呀
比核数，安桌手机超过苹果。
要看处理器型号、主频，硬盘读写速度，有木有阵列，还有BIOS设置什么的。
测算力用 linkpack benckmark 什么的。自己搞得，简单的测不出来，复杂的容易设置错。
-
-
@李东岳
李老师您好，我们的并行计算相关设置都是购买集群的时候帮我们配置的。具体的配置如下：
infiniband交换机带宽：56Gbps
CPU型号：英特尔至强铂金8375C （每节点双路共64核）主频3.5GHz
硬盘：东芝企业级14T*6，组raid6阵列，系统安装在固态硬盘内
总共花了31万多一点Openfoam-7
bashrcfile:
-
@bestucan 在 集群上并行测试OpenFOAM，并行效率并没有比单节点提升 中说：
比表现性能也没有比只核数的呀
比核数，安桌手机超过苹果。
要看处理器型号、主频，硬盘读写速度，有木有阵列，还有BIOS设置什么的。
测算力用 linkpack benckmark 什么的。自己搞得，简单的测不出来，复杂的容易设置错。
感谢您的回复，我们具体的配置是：
infiniband交换机带宽：56Gbps
CPU型号：英特尔至强铂金8375C （每节点双路共64核）主频3.5GHz
硬盘：东芝企业级14T*6，组raid6阵列，系统安装在固态硬盘内
BIOS设置过，但是跑FLUENT速度正常，所以猜测BIOS应该没有大问题有关于测试算例，我采用的1500万网格就是最简单的空腔算例，因为之前我们用过国内的超算平台，我也测试过这个算例。请问，你说的benchmark应该是哪些？是李老师在网站上提到的qDNS吗？还是别的什么？我不是很清楚，请教您一下。
谢谢！
-
单节点运行单步大约19秒，当采用两个节点时，单步11.5秒，并未提升明显。进一步增至3个节点时，计算反而减慢。
-
出一下具体的数据。单节点跑64核么，双节点128？3节点192？
-
每个算例要跑1000s左右，不能跑第一步看结果。
第二个LES算例，2000万左右网格，在其他超算平台上测试过采用336核心大约只需要5-6秒，但是在我们自己的集群上我采用4-5个节点，最快都得20秒，明显跨节点通讯有问题。
这个没法横向对比。可能别的集群本身就快。你只能自己测试自己集群的scale性能，类似这个：http://dyfluid.com/html/DMCmodel.html 目前你的scale确实不达标
-
-
命令怎么写的
-
@李东岳
李老师，我是按照单节点64核，双节点128核，以此类推来测试的。目前主要测试的是空腔算例和我自己的LES算例。- 空腔算例：1500万，icoFoam，我是一共运行了100步，平均计算每步运行时间。
一个节点64核心：平均单步19.18s
五个节点320核心：平均单步7.1s
可以看到并行加速比明显未达到预期。我在超算平台上测试过128核心，采用完全相同的计算设置，平均单步6.65s - LES算例，2000万，pisoFoam，同样运行了100个时间步。
这个算例我仅仅测试了256核心和320核心，因为我之前计算的时候采用的就是300核心左右。
我同时测试了每步跑满1000迭代步和最大迭代步设置为100迭代步的情况，以下是具体的数据：
五个节点320核心，最慢平均每步26s，最快平均每步9.2s
四个节点256核心，最慢平均每步29s，最快平均10.5s
作为参考，在超算平台上，同样的算例，336核心，平均每步5s左右。
所以很明显并行测试不达标，主要是因为我们在fluent里测试没有问题，主要问题就在于openFoam，所以目前不知道该怎么解决这个问题。
- 空腔算例：1500万，icoFoam，我是一共运行了100步，平均计算每步运行时间。
-
@lzf
你好，请问指的是什么命令？是提交任务的命令吗？
-
@sjlouie91 ofi换成dapl
-
一个节点64核心：平均单步19.18s
五个节点320核心：平均单步7.1s
所以你期望的是有5倍的scale吧？5节点达到4s左右。
我在超算平台上测试过128核心，采用完全相同的计算设置，平均单步6.65s
这个比不了。硬件不一样。我们这样同样64核的计算速度都不一样。可能他们的CPU更暴力。不能这么比。你只能看你们自己这个机架式，能否达到你的scale预期。
我建议你这么跑，对比总时间，而不是平均每步的时间，比如你把这个表格填一下：
1500万，icoFoam 1节点64核100步，总共 ___ 秒 2节点128核100步，总共 ___ 秒 3节点192核100步，总共 ___ 秒 4节点256核100步，总共 ___ 秒 5节点320核100步，总共 ___ 秒然后你看一下能否做到scale的线性。同样你还可以测试下：
1500万，icoFoam 1节点32核100步，总共 ___ 秒 2节点64核100步，总共 ___ 秒 3节点96核100步，总共 ___ 秒 4节点128核100步，总共 ___ 秒 5节点160核100步，总共 ___ 秒看一下能否做到scale的线性。
另外你说的Fluent没问题。是什么没问题，能达到线性的scale，还事什么
-
@李东岳
好的，谢谢李老师，我先测试一下。 -
@lzf
好的，我试试。请问这个命令是会影响到并行效率吗？抱歉，我不太懂MPI相关命令 -
@sjlouie91 会的，这方面李老师这边测过，dapl参数是最快的，另外你可以试一下hpcx的并行库。
-
@lzf
好的，感谢！ -
-genv FI_PROVIDER tcp
这一条表示你指定使用 tcp 网络通信，所以很可能你的节点间通信就没用到 infiniband。
建议先去掉 -genv FI_PROVIDER tcp ，这样mpi应该会默认选择一个可用且最快的选项。如果不行，那么参考
https://www.intel.com/content/www/us/en/develop/documentation/mpi-developer-guide-linux/top/running-applications/fabrics-control/ofi-providers-support.html
这里的说明选择一个跟你硬件匹配的 FI_PROVIDER。 -
我在想他这面网卡设置这面，如果已经设定好了走infiniband，同样他还加这个参数
-genv FI_PROVIDER tcp，这两个不是抵触了么？ -
@李东岳
请问这种有问题吗？
-genv FI_PROVIDER mlx -
@李东岳
也不是抵触，infiniband 网络和 tcp 网络是共存的，他这样设置，应该是显式指定使用 tcp 网络，而没有使用 infiniband，所以速度就慢了。这个设置有的时候也是有用的，比如假设我有个工作站，没有 infiniband 也不需要，我只想单节点内的核之间通信。但是有的 mpi 它的 FI_PROVIDER 的默认值是 PSM2，这样的话如果不加参数，单节点并行也无法跑，加上 -genv FI_PROVIDER tcp 或者 -genv FI_PROVIDER shm 就可以正常跑了。
-
@sjlouie91 在 集群上并行测试OpenFOAM，并行效率并没有比单节点提升 中说：
-genv FI_PROVIDER mlx
这个参数我没用过。像 @lzf 说的，你可以试下
dapl，像 @xpqiu 说的，你可以试下把-genv FI_PROVIDER tcp去掉。但是有的 mpi 它的 FI_PROVIDER 的默认值是 PSM2，这样的话如果不加参数，单节点并行也无法跑，加上 -genv FI_PROVIDER tcp 或者 -genv FI_PROVIDER shm 就可以正常跑了
还有这样的mpi
-
@sjlouie91 如果可以的话希望可以提供一个五节点跑满320核的benchmark结果
-
@李东岳 在 集群上并行测试OpenFOAM，并行效率并没有比单节点提升 中说：
估计他就是双倍来了
那就是相对速度了，自己跟自己比
@sjlouie91 这个：https://www.top500.org/project/linpack/ 专门测超算性能的。但是流体计算的效率，影响因素太多。用李老师网站上大家都用的算例比对更容易找着对比点。
还有一个方法，开始计算后观察系统各项指标，看看哪个满负荷，哪个就是瓶颈。https://github.com/cjbassi/gotop 这个是终端界面的系统监视器。看看运行算例的时候是 CPU ，还是硬盘读写，还是网络通信，还是内存是爆满的。可以对比 fluent 运行的时候的不同。找到瓶颈后再排查比较有目标。
-
@李东岳 李老师，您好。我按照您的建议进行了测试，但是每个节点跑满所有核时，在3个节点时还可以实现线性，但是5个节点反而变慢。
请问这种情况还有可能是并行哪里有问题呢？ -
@lzf 你好，抱歉回复的晚。请问你指的结果是说最后计算时长吗？还是指的流场结果？
这个是我测试的加速比曲线和计算时长。如果有需要，我可以提供算例cavity文件
cavity算例的计算设置文件blockMeshDict,controlDict,fvSolution如下，fvSchemes采用tutorials中的设置：
blockMeshDict
controlDict
fvSolution
-
@lzf 还有一个问题想请教一下，你们使用集群计算模块加载的除了intel和intel-mpi，是否还需要其他什么模块吗？
如果可能的话，能否私信告诉我一下你的联系方式方便沟通并行相关问题？ -
@xpqiu 您好，感谢您的回复。
关于-genv FI_PROVIDER tcp，我测试过，必须得加上这个参数，否则没办法计算。至于shm:ofi，我发现好像是否添加这个参数对结果影响不大。 -
@李东岳 李老师您好，除了刚才发的OpenFOAM的测试性能以外，关于Fluent测试的效果是5个节点的加速比符合线性scale。
-
-genv FI_PROVIDER tcp你这个去掉不能跑的话。你如何确定走的是infiniband，而不是以太网模式。我们这面跑openfoam不需要这个参数。我们之前测试也出现过你这种情况。后来我们换交换机硬件了。但目前我还不确定现在我们这5节点能到什么样，得下周能出个测试结果。另外，openfoam离散设置差异（比如GAMG那个），我个人感觉不会引起特别大的差异。不过你可以实测看看，我也不100%确定@xpqiu 这位大佬之前好像测试过2048个核心
-
@李东岳
应该走的是infiniband，我还试过更改-genv I_MPI_FABRICS shm:ofi为shm:dapl，但是提示只有shm:ofi和ofi两种。
此外，除了一个节点使用32核心，我还测试过1个节点使用48和56核心，我发现不知道有没有可能是计算瓶颈的问题，我只要是用到240核上，每步计算的时长就没法再减小了。1节点64核100步，总共1851s 2节点128核100步，总共928s 3节点196核100步，总共553s 4节点256核100步，总共505s 5节点320核100步，总共557s 1节点32核100步，总共5946s 2节点64核100步，总共1863s 3节点96核100步，总共1163s 4节点128核100步，总共836s 5节点160核100步，总共616s 5节点240核100步，总共526s 5节点280核100步，总共567s请问李老师你们测试采用的算例是什么？
-
下面是你的数据：
5节点160核100步，总共616s 5节点240核100步，总共526s 5节点280核100步，总共567s 5节点320核100步，总共557s怎么有个波动在里面。
@sjlouie91 就是我那个200万网格那个。后来加密到3000多万。我们团队那个老师最近组织博士生考试，没时间测。下一步测试要4月初了...
我猜测也有可能跟算例相关，你可以跑一下摩托车那个算例。simpleFoam里面motorbike那个，你把网格相关量调成4000万网格的算例。直接测试
5节点160核 5节点240核 5节点280核 5节点320核我们下一步也要换成motorbike这个算例。我们他们外国人用这个比较多。
-
@sjlouie91
从你这个结果看，scaling看上去还算线性，线性区间应该在256核前一点，峰值点在5万+网格/核，不算好，也不算特别差，峰值点和集群本身的性能有关，CPU，内存之类的，但至强系列的CPU应该没那么差。
另外，不同的矩阵迭代算法的scaling不一样，CG类的scaling看上去很好，但绝对速度就那样，AMG类的scaling一般，但是真的快。 -
@number44
感谢你的建议。如果不是CPU的问题的话，有没有可能瓶颈在硬盘读取上？
我还有个疑问，我之前在LES算例上测试过GAMG求解器，一般来说GAMG计算更快，但是我不清楚是我设置有问题还是其他别的什么原因，我在使用GAMG的时候计算异常缓慢。
这个是我之前的计算设置，请问是否有针对这个算法的较优的设置参数？
-
@李东岳
您好李老师，针对这个波动，我之前也发现了，但是我后续又计算过一次，最终320核计算用时577s。总之，就是在240核以上基本上就不太有效果了。
针对您提到的这两个算例，我测试一下。 -
@sjlouie91
硬盘的读写只有刚开始和写结果的时候进行，迭代过程是不做硬盘读写的，除非频繁大量进行结果的存储，不然一般硬盘不太影响计算性能，更多受CPU的cache和内存影响。
至于GAMG的参数，我选择抄
PETSc4FOAM: a library to plug-in PETSc into the OpenFOAM framework
里面提到的。 -
不知道后来楼主怎么样了
-
@李东岳 在 集群上并行测试OpenFOAM，并行效率并没有比单节点提升 中说：
-genv FI_PROVIDER tcp你这个去掉不能跑的话。你如何确定走的是infiniband，而不是以太网模式。我们这面跑openfoam不需要这个参数。我们之前测试也出现过你这种情况。后来我们换交换机硬件了。但目前我还不确定现在我们这5节点能到什么样，得下周能出个测试结果。另外，openfoam离散设置差异（比如GAMG那个），我个人感觉不会引起特别大的差异。不过你可以实测看看，我也不100%确定@xpqiu 这位大佬之前好像测试过2048个核心
老师，想问一下，用openmpi在自己组里面的集群上用pbs跨节点并行（10g以太网交换机）命令用的mpirun --mca btl_tcp_if_include <ip地址> -np reactingTwoPhaseEulerFoam -parallel，运行的时候发现计算的节点上cpu的用户进程占比us只有50-60%，系统进程占比sy有40-50%，这个问题有没有什么好的解决办法？
