阿里云机器学习平台PAI论文高效大模型训练框架Whale入选USENIX ATC'22

近日，阿里云机器学习平台PAI主导的论文《Whale: Efficient Giant Model Training over Heterogeneous GPUs》，高效大模型训练框架Whale入选USENIX ATC22。Whale通过对不同并行化策略进行统一抽象、封装，在一套分布式训练框架中支持多种并行策略， ，并进行[查看全文]