1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development
2024.08.20 18:34
Preferred.jp
Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC(Gener...