传奇私服租什么服务器

概述

背景信息在当前人工智能趋势下，自然语言模型越大则提供的准确性越高。但由于成本、时间及代码无优化集成等问题，导致较大的模型难以训练。目前GPT-3的模型参数已经达到175B，模型参数的增长速度远超GPU显存的增长速度，数据并行和模型并行等传统优化方法在超大模型和过千亿参数面前也显现出了诸多瓶颈。如下图所示：为了使这些超大模型能够使用已有的硬件服务器训练，对应的解决方案需要在计算，通信和开发效率之间进行优化和权衡。是微软开源的深度学习训练优化库，通过性能优化、ZeRO（）显存优化及节省、提升模型能力等多个层面，对大模型训练做了详细的分析以及极致的性能优化，已经成为了超大NLP模型预训练的“利器”。优化方案TI-是腾讯云智能钛团队在对调研和实践的基础上，从性能和易用性两方面对框架进行了相关优化的分布式训练框架。通过TI-显存节省技术、TI-Deepspeed单机性能优化、TI-Deepspeed多机可拓展性优化，并根据NLP大模型不同的参数规模沉淀出了完整且高性能的分布式训练方案。腾讯云智能钛团队旨在通过“一套框架“+”三套最佳实践”更好的服务有NLP预训练需求的客户。训练平台面向大规模机器学习训练场景，腾讯云推出了搭载NVIDIA®Tesla®V100GPU和100G标准RDMA网卡的高性能黑石物理服务器2.0HCCG5v实例，TI-Deepspeed最佳实践选用该机型实例作为底层物理硬件平台。大规模训练集群以HCCG5v实例为节点，通过RDMA互联，提供了高带宽和极低延迟的网络服务，能满足大规模高性能计算、人工智能、大数据推荐等应用的并行计算需求。如下图所示：优化成果百亿参数模型优化结果腾讯云智能钛团队使用8台HCCG5v实例（共64卡V100）训练83亿和100亿参数规模GPT-2,通过使用zero-2纯数据并行，每卡可以达到近40TFLOPs的性能。如下表所示：参数layers=50hiddensize=4096attentionhead=32sequence_length=1024max-position-embeddings=1024优化结果global_bszbszmodel_parallel_sizeforwardbackwardstepiteration(ms)TFlopsGPU64*6=****.899288.****52013.2=39.3千亿参数模型训练优化结果腾讯云智能钛团队使用zero-stage3结合cpuoffload，在8台HCCG5v实例（共64卡V100）的有限资源下训练千亿模型，通过增大batchsize，隐藏通信开销，提升训练效率。如下表所示：参数layers=480hiddensize=4096attentionhead=32sequence_length=1024vocabulary_size=50258→50304优化结果bszzerocpu-offloadmpdpglobsziterationTFlopsGPUgpucpu内存占用1stage3no88883s1.2-0stage3yes884885.7s6.8-7显存接近极致，内存220G实践步骤实践具体操作步骤请参见部署及实践。