騰訊云HCC采用最新一代星星海自研服務(wù)器，基于自研網(wǎng)絡(luò)、存儲架構(gòu)帶來3.2T超高互聯(lián)帶寬、TB級吞吐能力和千萬級IOPS。
計算層面，新一代集群的單GPU卡在不同精度下，支持輸出最高1979TFlops的算力。針對大模型場景，星星海自研服務(wù)器采用6U超高密度設(shè)計，相較行業(yè)可支持的上架密度提高30%;利用并行計算理念，通過CPU和GPU節(jié)點的一體化設(shè)計，將單點算力性能提升至更高。
網(wǎng)絡(luò)層面，騰訊自研的星脈高性能計算網(wǎng)絡(luò)，具備業(yè)界最高的3.2T RDMA通信帶寬。實測結(jié)果顯示，搭載同等數(shù)量的GPU，3.2T星脈網(wǎng)絡(luò)相較1.6T網(wǎng)絡(luò)，集群整體算力提升20%。
存儲層面，騰訊云自研的存儲架構(gòu)，具備TB級吞吐能力和千萬級IOPS，支持不同場景下對存儲的需求。COS+GooseFS對象存儲方案和CFS Turbo高性能文件存儲方案，充分滿足大模型場景下高性能、大吞吐和海量存儲要求。
此外，新一代集群集成了騰訊云自研的TACO訓(xùn)練加速引擎，對網(wǎng)絡(luò)協(xié)議、通信策略、AI框架、模型編譯進行大量系統(tǒng)級優(yōu)化，大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。
