在富岳超算上訓練大模型
2024-05-11 11:33:38 EETOP
富士通的Fugaku-LLM在Fugaku超級計算機的13,824個節點上使用3800億個Token進行訓練，該超級計算機基于A64FX處理器，支持FP64、FP32、FP16和INT8模式，適用于各種AI和傳統超級計算機應用。Fugaku-LLM的訓練自然而然地利用了針對超級計算機架構和 Tofu 互連D 進行優化的分布式并行學習技術。
Fugaku-LLM具有130億個參數，與GPT-4的1750億個參數相比顯得微不足道。富士通表示，130 億參數的 LLM 不需要龐大的計算資源來進行推理，這對日本的企業和研究人員來說是最佳選擇。約 60% 的訓練數據是日語數據，40% 的數據是英語、數學和代碼數據。
這種廣泛的以日語為中心的訓練使其有別于其他主要在英語數據集上訓練的日語模型。因此，Fugaku-LLM擁有卓越的日語水平，在日語MT-Bench上獲得了5.5的平均分，這是使用日本原始數據訓練的公開可用模型中的最高分。根據富士通的數據，它在人文和社會科學方面尤其出色，取得了令人印象深刻的 9.18 分的基準分數。
Fugaku-LLM計劃是由東京工業大學、東北大學、富士通株式會社、RIKEN、名古屋大學、CyberAgent和Kotoba Technologies等日本領先機構之間的合作推動的。他們合作的原因之一是通常用于訓練和推理 AI 模型的 GPU 短缺。另一個原因是，該模型可以與富士通的下一代 150 核 Monaka 數據中心 CPU 一起使用，該 CPU 針對 AI 和 HPC 工作負載進行了優化。
Fugaku-LLM現在可以在GitHub和Hugging Face的指定許可條款下用于學術和商業目的。此外，它還將從2024年5月10日起通過富士通研究門戶網站提供。
