英伟达揭幕Nemotron-4架构,引领全球AI大模型技术新浪潮!
金牛论市 2024-06-15 20:17
6月15日,英伟达隆重推出革命性的AI模型Nemotron-4 340B,这一举动在Mixture of Experts(MoE)架构的应用上迈出了一大步,同时融入了RoPE优化算法:
架构革新:Nemotron-4 340B采用了Transformer框架,配备了因果注意力掩码,融合了旋转位置嵌入(RoPE)、SentencePiece分词器、MLP层中的平方ReLU激活函数等多重优化功能;
训练环境:该模型在由768个DGX H100节点组成的集群上进行了训练,每个节点配置有8个基于NVIDIA Hopper架构的H100 80GB SXM5 GPU;节点内部的GPU通过NVLink和NV Switch相连,实现了高达900Gb/s(双向各450Gb/s)的带宽;每个节点还装备了8个NVIDIA Mellanox 400G HDR IB主机通道适配器,以促进节点间的通信;
性能亮点:Nemotron-4 340B在常识推理任务及如BBH等主流基准测试中创造了准确率的新纪录,同时在MMLU编码基准测试中也展现出了卓越的竞争力;
分析:与传统的Transformer模型相比,MoE架构提供了更高效的性能和更低的成本。随着全球科技巨头如谷歌和英伟达在其AI模型中积极推动MoE架构,这种设计正迅速成为AI模型开发的主流趋势,进而推动对先进网络设备的需求。这将导致对高性能交换机的需求增加,促使交换机峰值速率和总体需求量上升。AI计算基础设施的持续扩展将带动上游光学模块、交换机等组件的需求增长。
建议关注的行业与企业:
交换机:锐捷网络、盛科通信、紫光股份、菲菱科思、共进股份;
光学模块及组件:中际旭创、天孚通信、新易盛;
光学芯片:源杰科技。