LLMを使って分かち書きフィルタを書かずにテキスト処理をする

ツイート

こんにちは。CTOの永井(shnagai)です。 この記事はコネヒト & コネヒト生成AI Advent Calendar 2024 の8日目の記事です。 adventar.org 今日は、LLMを使って形態素解析処理をいかに楽に出来るかを実験したので、その内容について書いていきたいと思います。 やりたいこと・モチベーション 社内の盛り上げツールとして、ワードクラウドを作りたい ワードクラウドは文章の特長を捉えているとよりうれしい 一般的なワードは省きたい Pythonを使う フリーテキストなので形態素解析が必要…