ホームページ > 記事 > テクノロジー周辺機器 > OpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにする
大規模な言語モデルを統合することにより、サービス標準は「AI 駆動型」として位置付けられました。ウェブサイトのホームページでは、インタラクティブなデモやケーススタディを通じて、AI 主導のサービスの革命的な影響を誇らしげに紹介しています。これは、貴社が世界的な GenAI 分野に残した最初の実績でもあります。
小規模ながら忠実なユーザー ベースは顧客エクスペリエンスの向上を享受しており、将来の成長の可能性が見えています。しかし、月が 3 週目に入ると、OpenAI から驚くべき電子メールが届きます。ちょうど 1 週間前、あなたは製品マーケット フィット (PMF) を評価するために顧客と話し合っていたのに、今では何千人ものユーザーがあなたのサイトに集まっています (最近では、何でもソーシャル メディアで拡散する可能性があります) や、AI 主導のサービスがクラッシュする可能性があります。
結果として、かつては信頼できたサービスは既存ユーザーをイライラさせるだけでなく、新規ユーザーにも影響を及ぼします。
手っ取り早く明白な解決策は、使用制限を増やしてサービスを直ちに復元することです。
しかし、この一時的な解決策には不安が伴いました。独自の AI とそれに関連するコストの制御が制限され、単一ベンダーへの依存に縛られているように感じずにはいられません。
「自分でやるべきか?」と自問します。
オープンソースの大規模言語モデル (LLM) が現実のものになったことはすでにご存知でしょう。 Hugging Face のようなプラットフォームでは、何千ものモデルがすぐに使用できるため、自然言語処理の可能性が得られます。
ただし、最も強力な LLM には数十億のパラメーターがあり、数百ギガバイトに達し、拡張するには多大な労力が必要です。低遅延が必要なリアルタイム システムでは、従来のモデルのように単純にアプリケーションにプラグインすることはできません。
必要なインフラストラクチャを構築するチームの能力には自信があるかもしれませんが、本当の懸念は、この変革に伴う次のようなコストへの影響です。
微調整のコストモデルの重み、140 GB のメモリを消費します。
OpenAI を引き続き使用する場合、上記の微調整と一致するように 1 日に処理できる単語数は次のとおりです。 LLaMA 2 のコストのサービング。
OpenAI の価格設定によると、GPT 3.5 Turbo の微調整には 1,000 トークンあたり 0.0080 ドルの費用がかかります。
ほとんどの単語に 2 つのトークンがあると仮定すると、オープンソース LLaMA 2 70B モデルの微調整コスト (1 日あたり 67 ドル) に匹敵するには、OpenAI モデルに約 415 万単語をフィードする必要があります。
通常、A4 用紙の平均ワード数は 300 です。これは、オープンソースの微調整コストに匹敵する約 14,000 ページのデータをモデルに供給できることを意味しますが、これは膨大な数です。
微調整データがそれほど多くない可能性があるため、OpenAI を使用した微調整のコストは常に低くなります。
もう 1 つの明らかな点は、この微調整のコストはトレーニング時間ではなく、モデルの微調整に必要なデータの量に関係しているということです。オープンソース モデルを微調整する場合は、コストがデータ量と AWS コンピューティング リソースの使用時間に依存するため、これは当てはまりません。
サービスのコストについては、OpenAI の価格ページによると、微調整された GPT 3.5 Turbo の料金は、入力の場合は 1,000 トークンあたり 0.003 ドル、出力の場合は 1,000 トークンあたり 0.006 ドルです。
1000 トークンあたり平均 0.004 ドルと想定します。 1 日あたり 180 ドルのコストに達するには、API を通じて 1 日あたり約 2,220 万語を処理する必要があります。
これは、1 ページあたり 300 ワードの 74,000 ページを超えるデータに相当します。
ただし、OpenAI は従量課金制を提供しているため、モデルを 24 時間年中無休で実行し続ける必要がないという利点があります。
モデルが一度も使用されない場合、料金はかかりません。
最初は、自己ホスト型 AI への移行は魅力的な取り組みのように思えるかもしれません。ただし、それに伴う隠れたコストと頭痛の種に注意してください。
AI 主導のサービスがなぜダウンしているのか疑問に思い眠れない夜が時折起こることは別として、サードパーティのプロバイダーを使用すれば、運用システムで LLM を管理する際のほとんどすべての困難が解消されます。
特に、サービスが主に「AI」に依存しているのではなく、AI に依存している他のものがある場合に顕著です。
大企業にとって、年間 65,000 ドルの所有コストは非常に低い額かもしれませんが、ほとんどの企業にとって、これは無視できない数字です。
さらに、人材やメンテナンスなどのその他の追加費用も忘れてはなりません。これにより、総コストは簡単に年間 20 万ドルから 25 万ドル以上に増加する可能性があります。
もちろん、最初からモデルを用意することには、データと使用状況の制御を維持できるなどの利点があります。
しかし、セルフホスティングを実現するには、1 日あたり約 2,220 万ワードという標準をはるかに超えるユーザーのリクエスト量が必要になり、人材とロジスティクスの両方を管理するためのリソースが必要になります。
ほとんどのユースケースでは、API を使用する代わりにモデルを使用することは経済的に価値がありません。
以上がOpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。