GPUで動いてるLLMの中でCPUが動く?・・・何を言ってるかわからねえと思うが、とにかくQwenputerを追試して分かったこと、分からなかったこと｜shi3z

ツイート

「Qwen3.5-4Bの重みの中に32bit RISC-V CPUをコンパイルして埋め込んだ」というモデルがHugging Faceに公開されていた。 divagr1925/Qwen3.5-4B-Qwenputer 最初に見たとき、正直なところネタだと思った。 LLMに計算をさせる方法はいくらでもある。Pythonを呼び出してもいいし、電卓を使わせてもいい。しかし、これはそういう話ではないらしい。 なんと、LLMのニューラルネットワークそのものに32bitのCPUを作り込み、モデルが文章を生成するための計…