Meta 在官网发布两个 24K H100GPU 集群，专为训练大型模型 Llama-3 而设计。Llama-3 采用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。预计在 4 月末或 5 月中旬上线，可能是多模态模型并继续开源。Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。