「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた｜ふちゃぎ

2026.08.20 11:28

Note.com

「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何かは書かれていない。一方で、同じモデルが動くコードを書き、難しい数学の証明を組み立てる。これも正しい。両方とも真、というのが据わりが悪い。単語当ての延長で証明まで届くなら、「予測しているだけ」という言い方のどこかに、大事な何かが折り畳まれているはずだ。機械学習の世界ではこの飛躍に「創発（emergent abi…

記事全文へ