LLMの追加学習なしで決められた長さ以上のテキストを生成可能な技術を開発~独自の位置符号化機構によりLLMの学習コストの削減に貢献~ | ニュースリリース | NTT
2025.04.25 13:19
Group.ntt
◆多くのLLMで採用されている位置符号化※1であるRotary Position Embedding(RoPE)※2がウェーブレット変換※3の一種であることを解明し、ウェーブレット変換が位置符号化に有効である可能性を示しました。 ◆ウェーブレット変換を応用した独自の位置符号化を開発しました。この位置符号化はLLMの生成性能を改善するだけで...