今回の話題は、AIのコスト面です。
AIをAPIで動かすとなると、
裏で動くAIモデルの入出力に応じたコストがかかる従量課金制で
AIモデルを使います。
これまでの常識を簡単に言えば、
精度の高い回答を生成するGPT4を使うよりも、
精度はそこそこだけどコストが低いGPT3.5と接続して
AIサービスを開発した方がランニングコストが安く済む。
という状況でした。
次にどういった時にAPIを使うことになるかですが、
用途に応じてカスタマイズしたチャットbotを動かしたい。や、
話題のAUTOGENを触ってみたい。と言った場合には、
APIと接続してAIを動かすことになります。
今回、私の場合は話題のAUTOGENを動かしてみたい。ということで
見よう見まねでベースとなるコードをコピペして動かしてみたところ、
指定したモデルが、GPT4となっていました。
そこで、次にGPT4よりも、低コストで、有能なAIと話題のGPT4o1miniで動くように
コードを書き換えたところ、驚くべき結果となりました。
話題のGPT4o1miniとGPT4のコストを比較したら結果
体感値としては、GPT4o1miniの出力は10倍以上早く、
精度もGPT4に比べてさらに良いものとなりました。
これは良いと、手探りでAUTOGENを動かして数時間ほど遊びんだところで、
コストに一抹の不安…を感じた私は
「いくらかかったのか」と自身のOPENAIのUIにログインしたところ、
たまげました！！
結果がこちら！
GPT4でAUTOGENを走らせたコストが、6.04ドルに対して。
GPT4o1miniでAUTOGENを走らせたコストが、0.04ドル!!
152倍のコストダウン！！
GPT4o1miniのコスパ凄すぎ✨
注釈を入れると、GPT４で走らせていたAUTOGENの応答回数が多くなっていたり、
最初だけに色々と試しに動かしてみたところがあったにせよ、
この差はエグすぎます‼️
ちなみに、これまで廉価モデルだったGPT3.5よりもGPT4o1miniの方が
ランニングコストの低減が図れるそうですよ。
