中間層をリピートするだけでLLM性能が向上する!? 4090x2でリーダーボードトップになった手法Repeat Your Self｜shi3z

ツイート

Davig NgによるRYS(Repeat Your Self)という手法が注目を集めている。


LLM Neuroanatomy: How I Topped the LLM Leaderboard Without Changing a Single Weight


ML, Biotech, Hardware, and Coordination Problems. Sometimes I


dnhkng.github.io




この手法は、「LLM神経解剖学」と銘打ち、LLMのレイヤーが実際には…