Spiral.AI、Transformerの限界を克服した次世代LLMアーキテクチャ「RetNet」の学習済みモデルを公開
2024.05.01 15:17
Thebridge.jp
Spiral.AI株式会社(本社:東京都千代田区、以下「SpiralAI」)は、従来のLLMアーキテクチャであるTransformerの問題点を解決した学習済みモデルを開発・公開しました。 開発・公開したモデルは、RetNetのアーキテクチャを活用しています。RetNetは、入力文字列長が長くなっても計算時間や必要リソースが増加しない特徴を持っており、Transformerの入力文字列長が長くなる...
The post Spiral.AI、Transformerの限界を克服した次世代LLMアーキテクチャ「Ret…
検索
人気記事
コメント一覧
まだコメントはありません。