在富岳超算上训练大模型，日本联合研究团队发布 Fugaku-LLM

IT之家 5 月 11 日消息，由多方企业和机构组成的日本联合研究团队昨日发布了 Fugaku-LLM 大模型。该模型的最大特色就是其是在 Arm 架构超算“富岳”上训练的。Fugaku-LLM 模型的开发于 2023 年 5 月启动，初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研究所（理研）。而在 2023 年 8 月，另外三家合作方 —— 名古屋大学、CyberAgent（也是游戏企业 Cygames 的母公司）和 HPC-AI 领域创企 Kotoba Technologies 也加入了该模型研发计划。▲ 富岳超算。图源富士通新闻稿在昨日发布的新闻稿中，研究团队表示其充分挖掘了富岳超算的性能，将矩阵乘法的计算速度提高了 6 倍，通信速度也提升了 3 倍，证明大型纯 CPU 超算也可用于大模型训练。Fugaku-LLM 模型参数规模为 13B，是日本国内最大的大型语言模型。其使用了 13