OpenAIにおける対話APIの利用料金を定めているのはtokenという単位である。GPT-3におけるtokensについて によれば，1k tokens が750 wordにあたる。ところが，日本語の場合は，マルチバイト文字のためにこのルールがあてはまらず，「これはテストするための投稿内容です。」という22文字入力が27tokenになってしまう。1k tokens が 750字程度か。
OpenAIの価格リストによれば，gpt-3.5-turboで，\$0.002/1k tokens≒ 0.3円/1k tokensだったものが，gpt-4（32K context）では，\$0.06-0.12 / 1k tokens ≒ 9-18円 / 1k tokens に跳ね上がってしまった。10往復の対話で100〜200円となり，遠距離通話の公衆電話で10円玉がどんどん吸い込まれていくイメージに重なってしまう。
Googleでいくら検索しても，Twitterにいくら投稿してもお金を取られることはなかった。この従量課金される対話型AIシステムはいったいどうやって使えばいいのだろうか。あるいは，どのようなビジネスモデルを想定すれば，ほぼ無料でその恩恵に預かることができるのだろうか。そこで，GPT-4に聞いてみました。
Ｑ：GPT-4を日本語で利用する場合，英語で750word / 1k tokens のところが，約 750文字 / 1k tokens になってしまいます。これは日本語がマルチバイト文字であって，単語を切り出すのもむずかしいことによります。現在のドル円為替レートを考慮すると，1対話を1 k tokensとしても20円ほどかかります。10対話では 200円にもなってしまいます。このような高額の従量課金システムを前提とすれば，日本ではよほど裕福な人でなければ，自由にGPT-4を使えないことになります。どうすれば，この問題を解決することができるでしょうか。具体的なアイディアをいくつか出してください。Ａ：この問題を解決するためのアイディアはいくつかあります。以下に具体的な提案を示します。１．オープンソースAIモデルの開発:GPT-4のような高額な商用モデルではなく、オープンソースのAIモデルを利用することで、コストを削減できます。オープンソースのAIモデルは無料で利用でき、コミュニティによって継続的に開発・改善されているため、品質も向上していくでしょう。２．ローカルでのAIモデルの実行:クラウドサービスでのAPI利用に依存せず、ローカル環境でAIモデルを実行することで、トークン数に対する制限や課金を回避できます。ただし、ハードウェアリソースが必要になるため、初期投資が高くなる可能性があります。３．エコシステムの構築:企業、学術機関、政府が連携し、AIモデルの利用コストを抑えるエコシステムを構築することが有効です。例えば、政府が資金提供を行ったり、企業が無料や低価格でAIモデルを提供することで、経済的な負担を軽減できます。４．グループライセンスや教育機関向け割引:GPT-4のような商用モデルを利用する場合でも、教育機関向けの割引プランやグループライセンスを提供することで、コストを抑えることができます。これにより、教育機関がAIモデルを導入しやすくなります。５．より効率的なAIモデルの開発:日本語のマルチバイト文字や単語の切り出しの問題に対処するために、より効率的なAIモデルを開発することが求められます。新しいアルゴリズムや技術を用いて、日本語に特化したAIモデルを開発することで、トークン数の制約を緩和できるかもしれません。６．非同期型の利用:対話をリアルタイムで行う必要がない場合、非同期型の利用に切り替えることkoshix@mac.com続けてで、コストを抑えることができます。例えば、学習者が質問を投稿し、AIモデルがオフピーク時間に回答を生成するように設定することで、リソースの効率的な利用やコスト削減が可能になります。７．質問の最適化:GPT-4を利用する際、より効率的に情報を得るために質問の最適化を検討します。具体的には、一度の質問で多くの情報を得られるように工夫することで、トークン数を節約し、コストを抑えることができます。８．キャッシュ機能の利用:過去に行った対話や回答をキャッシュ（一時保存）することで、同様の質問が再度投げられた際にAIモデルを利用せずに回答を返すことができます。これにより、トークン使用量を削減し、コストを抑えることができます。９．クラウドファンディングやスポンサーシップ:個人や学習者グループが、クラウドファンディングやスポンサーシップを通じて資金を集めることで、GPT-4の利用コストを補うことができます。これにより、より多くの人々がAIモデルを利用できるようになります。10．低コストのAIモデルの利用:GPT-4よりも低コストで提供されるAIモデルを活用することも一つの方法です。これらのモデルは、GPT-4ほどの性能はないかもしれませんが、それでも十分な学習効果が期待できる場合があります。また、これらのモデルを活用していくことで、将来的に性能が向上する可能性もあります。
0 件のコメント:
コメントを投稿