UnslothのGoogle Colabノートブックで手軽にLLMの蒸留ができる｜shi3z

ツイート

DeepSeek-R1の1.58ビット量子化で途端に注目の的になったUnsloth。 彼らは元々、LLMのGGUFなどを作ってくれる親切なハッカーというイメージだった。 しかし、今回の動的量子化など、尖った技術をソフトウェアパッケージにしていて、Phi-4やCommande-Rなど、いろいろなオープンウェイトモデルの蒸留や量子化が簡単にできるGoogle Colab Notebookを配っていた。


Google Colab





colab.research.google.com




これが…