AIニュース

これは面白い! Whisper EncoderとLlama3.2を2層MLPで繋いだだけでもちゃんと音声認識から直接LLMの回答を出力できる｜shi3z

2025.07.08 16:16
Note.com
このエントリーをはてなブックマークに追加

Twitterのタイムラインを見ていたら、面白そうなリポジトリが流れてきた。 スライドもよくまとまっていて面白いのだが、僕が特に面白いと思ったのは、このリポジトリにあるdemo2.ipynbの内容。 簡単にいうと、音声をWhisperのEncoderに入力した後、それをわずか2層のMLP(adapterと呼ばれている)を介してLlamaに入力し、わずか1エポックだけMLPを学習すると、ちゃんと音声から直接回答が得られるようになるということ。インストラクション(指示)は別途テキストで入力している。 Ko…

記事全文へ

検索

人気記事

ELSOUL LABO B.V.SLV にローカルモードを追加 ― ssh ログイン先のノードをそのまま AI エージェントで Solana バリデータ、RPCノードを管理。solv ユーザーの移行先としても最適

2026.04.04 0:18

「お金の力」無料の金融経済×起業家教育プログラム 3月27日から提供開始

2026.04.04 2:09

Google、iOS端末上でAIモデルを実行するアプリ「Google AI Edge Gallery for iOS」をリリース（Gemma 4対応）

2026.04.04 0:56

AgentCore CLI で Lambda を MCP ツール化する - Gateway 機能を試してみた 【備忘録】

2026.04.03 23:32

『Ingress』桜舞い景色も変化!! 全6種類のメダルが登場するSakura Blossom Festival 2026ガイド

2026.04.03 23:00

コメント一覧

まだコメントはありません。

コメント