英伟达揭幕Nemotron-4架构，引领全球AI大模型技术新浪潮！
金牛论市 2024-06-15 20:17
6月15日，英伟达隆重推出革命性的AI模型Nemotron-4 340B，这一举动在Mixture of Experts（MoE）架构的应用上迈出了一大步，同时融入了RoPE优化算法：
架构革新：Nemotron-4 340B采用了Transformer框架，配备了因果注意力掩码，融合了旋转位置嵌入（RoPE）、SentencePiece分词器、MLP层中的平方ReLU激活函数等多重优化功能；
训练环境：该模型在由768个DGX H100节点组成的集群上进行了训练，每个节点配置有8个基于NVIDIA Hopper架构的H100 80GB SXM5 GPU；节点内部的GPU通过NVLink和NV Switch相连，实现了高达900Gb/s（双向各450Gb/s）的带宽；每个节点还装备了8个NVIDIA Mellanox 400G HDR IB主机通道适配器，以促进节点间的通信；
性能亮点：Nemotron-4 340B在常识推理任务及如BBH等主流基准测试中创造了准确率的新纪录，同时在MMLU编码基准测试中也展现出了卓越的竞争力；
分析：与传统的Transformer模型相比，MoE架构提供了更高效的性能和更低的成本。随着全球科技巨头如谷歌和英伟达在其AI模型中积极推动MoE架构，这种设计正迅速成为AI模型开发的主流趋势，进而推动对先进网络设备的需求。这将导致对高性能交换机的需求增加，促使交换机峰值速率和总体需求量上升。AI计算基础设施的持续扩展将带动上游光学模块、交换机等组件的需求增长。
建议关注的行业与企业：
交换机：锐捷网络、盛科通信、紫光股份、菲菱科思、共进股份；
光学模块及组件：中际旭创、天孚通信、新易盛；
光学芯片：源杰科技。
