大規模言語モデル PLaMo 2 のためのトークナイザ性能改善
2025.01.22 18:27
Preferred.jp
Preferred Networks(以下、PFN)および Preferred Elements(以下、PFE)では、大規模言語モデル(以下、LLM)の開発を進めており、PLaMo 100B を 2024 年 10 月に公開しました。現在は次世代モデルである PLaMo 2 の開発(※)を行っています。今回の記事では、PLaMo 2 に採用したトークナイザの改善について紹介します...