DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編｜yuiseki

ツイート

前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である...