日本電信電話株式会社LLMの追加学習なしで決められた長さ以上のテキストを生成可能な技術を開発 ~独自の位置符号化機構によりLLMの学習コストの削減に貢献~

2025.04.24 15:06
CNET

発表のポイント:多くのLLMで採用されている位置符号化※1であるRotary Position Embedding(RoPE) ※2がウェーブレット変換の一種であることを解明し、ウェーブレット変換※3が位置符号化に有効である可能性を示しました。ウェーブレット変換を応用した独自の位置符号化を開発しました。この位置符号化はLLMの生成性能を...

検索

人気記事

2025.09.11 5:34
2025.09.10 17:22
2025.09.10 20:56
2025.09.11 7:12
2025.09.10 17:45

コメント一覧

まだコメントはありません。

コメント