複数のPCからリソースをかき集めて巨大なAIモデルをローカル実行できる「mesh-llm」

ツイート

Mesh LLMは、複数のコンピューターの余剰GPU計算資源を持ち寄り、1台では動かしにくい大規模言語モデルを分散実行できるようにする仕組みです。OpenAI互換APIを備えており、既存のAIツールやエージェントからそのまま使いやすい点が特徴です。mesh-llm - Decentralised LLM Inferencehttps://docs.anarchai.org/michaelneale/mesh-llm: reference impl with llama.cpp compiled to distri…