大規模言語モデルをフルスクラッチする練習 (環境構築ー事前学習まで)｜Kan Hatakeyama

ツイート

はじめに 以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡
リポジトリ 当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫したパイプラインが提供されています｡ 0. 環境構築 プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Docke…