イチからつくるLLM（１）｜ディープラーニングネイティブ

ツイート

LLMのことを知りたいと思ってチュートリアルなどを眺めても結局transformersのAPI紹介で何も分からない。そこで「分からないなら作ればいいじゃない」、というファインマン流な勉強を始めてみました。ゼロから作ろうかと思ったのですが、ちょっと大変そうなので、このシリーズではJAXとequinoxで実装していきます。JAXは自動微分やJIT機能のついたnumpyですが、流石にそのレベルから頑張るのはしんどいので、JAXでニューラルネットワークなどを作りやすくするライブラリーであるequinoxを使います。fla…