类型[1]

Static batching （静态批处理）[2]

• 朴素批处理 / 静态批处理

Dynamic batching （动态批处理）[2]

Ragged Batching （变长输入批处理）[2]

Continuous batching(连续批处理)[2][10]

[ORCA]Iteration batching

[tensorRT]inflight batching

ORCA 原理[2]

• 迭代级调度（Iteration-level Scheduling）