Attention再入門 is all you need
2026.01.09 15:19
Zenn.dev
Attention再入門 is all you need 松尾研究所の尾崎です.25卒でデータサイエンティストをやっています. Attention機構は,"Attention is all you need"論文で一気に脚光を浴びて以来,昨今のAIブームを支えるLLM(transformer)の根幹的技術です.今回はそんなAttention機構が登場以来,どういう方向で進化してきたのか...