论文分享—Overlap Communication with Dependent Computation via Decomposition in Large Deep Learning Models

本文提出了一种新的技术，通过与计算方法之间的重叠通信来有效地减少其数据通信开销。利用该技术，将一个识别出的原始通信群与依赖的计算操作一起分解为一系列细粒度的操作序列。通过创造更多重叠的机会和执行新创建的、更细粒度的通信和并行计算操作，有效地隐藏了数据传输延迟，实现了更好的系统利用率。

相关标签