自宅のRTX3060で小さなLLMを自作してみた

2025.11.17 10:53
Zenn.dev

Dataset({ features: ['text', 'footnote', 'meta'], num_rows: 10246 }) Filtered dataset size: 10,246 entries トークナイザー 青空文庫のデータのみで学習を行うということもあり既存のトークナイザーを使うより専用のものを使用した方が良いだろうと考え自作することにしました。 SentencePiece を直接呼び出し uni...

検索

人気記事

2026.04.07 0:40
2026.04.06 23:41
2026.04.06 20:35
2026.04.06 22:32
2026.04.06 21:00

コメント一覧

まだコメントはありません。

コメント