FairScale

Last updated Oct 18, 2022 Edit Source

#github Intro::: FairScale是由Facebook Research开发的PyTorch扩展库，具备高性能，可用于大型训练。 Link::: https://github.com/facebookresearch/fairscale

• 易用性，开发简单易懂的FairScale API，使用户方便上手。
• 模块化，实现模块化，使用户可将多个FairScale API无缝加入其训练循环。
• 性能，实现 FairScale API的高可扩展性和高效率。 FairScale支持完全分片数据并行（FullyShardedDataParallel，FSDP），FSDP是扩展大型神经网络训练的推荐方法。