流水线并行[2]

• 同步流水线并行(Sync-PP)
  • GPipe
• 异步流水线并行(Async-PP)
  • PipeDream
  • Megatron-LM

Gpipe[1][2]

microbatch

重计算

PipeDream (Non-Interleaved 1F1B)[1][2]

【1F1B 一个Forward，一个backward】

【非交错式调度】