首先，需要说一些特性在前面：
- NCCL是NVIDIA 集体通信库（NVIDIA Collective Communication Library），专注于 GPU 间交互，利用 NVLink、PCIe 和 InfiniBand (IB) 等互连技术实现高带宽和低延迟。
- NCCL并不是完全开源
主要功能
每个GPU都可以新建一个通信器，有对应的通信Rank编号和终止操作。
- 创建对象：ncclCommInitAll
- 创建跨线程通信对象：ncclCommInitRank
- 销毁通信器：ncclCommDestroy
- 取消通信并终止：ncclCommAbort
NCCL有五种集体通信：
- ncclAllReduce
- ncclBroadcast
- ncclReduce
- ncclAllGather
- ncclReduceScatter
参考文献：
paper —— Demystifying NCCL: An In-depth Analysis of GPU Communication Protocols and Algorithms