Megatron-LM

Last updated Oct 18, 2022 Edit Source

Intro::: Megatron是NVIDIA应用深度学习研究团队研发的大规模Transformer语言模型训练框架，支持模型并行（张量并行、序列并行与流水并行）与多节点预训练（multi-node pre-training），目前已支持BERT、GPT和T5模型。 #github Link::: https://github.com/NVIDIA/Megatron-LM