分布式训练常用的集合通信

Broadcast

Broadcast：将一个进程中的数据发送到所有其他进程，通常用于将一个进程的消息或数据复制到所有参与者。

Scatter：源进程将数据分成多个部分，并将每部分发送到不同的目标进程。其他进程接收并存储各自的块

Gather：与Scatter 相反，将多个进程中的数据汇聚到一个进程中。

AllGather：将所有进程中的数据汇聚到每个进程中。

AlltoAll：每个进程将自身的数据分别发送给其他进程，同时接收来自其他进程的数据，效果类似于转置。

Reduce：把全部进程的数据规约到一个进程上。

ReduceScatter：将每个进程的数据规约并分散到所有进程。

AllReduce：将每个进程的数据规约并同步到所有进程，可通过执行Reduce + Broadcast或ReduceScatter + AllGather实现。