tiktokenでgpt-3.5-turboとgpt-4oのトークン数を比較する
            
            
              2024.08.23 10:50
            
            
              Gmo-ap.jp
            
            
                          
                        GMO NIKKOのT.Nです。 最近弊社のプロダクトで使用しているOpenAIのモデルを、 gpt-4oやgpt-4o-miniに切り替えました。 gpt-3.5-turboを使用していた時と比較して、 トークン数に変化があったので、 tiktokenの処理時間も含めて確認してみました。 確認方法 以下のようなプログラムで、 トークン数と処理時間の平均を確...