『三体問題』の半分を一気に読んでしまいましょう! GPT-4の最強のライバルが突如10万トークンにアップグレード、ペーパーコードのデモも完了
GPT-4 32K がまだ内部テスト段階にあったとき、OpenAI の強力なライバルはコンテキストの長さを直接増加させました。
ちょうど今日、スタートアップ Anthropic が、Claude がすでに 100K (約 75,000 単語) のコンテキスト トークン長をサポートできることを発表しました。
#このコンセプトは何ですか?
平均的な人は、同じ量のコンテンツを読むのに約 5 時間かかりますが、消化、記憶、分析にはさらに多くの時間を費やす必要があります。
クロードの場合、それは 1 分以内に完了しました。
本「華麗なるギャツビー」全体 (約 72,000 トークンを含む) をそこに投げて、一文を変更します:
Mr. Carraway Anthropic で機械学習ツールに取り組んでいるソフトウェア エンジニアです。 ############信じられますか?クロードは変更された文を見つけるのにわずか 22 秒しかかかりませんでした。
多くのネチズンは、Claude 100K では、手に持っている GPT-4 32K はもうダメだと言いました。
#クロード 100k、ベル シャン!
少し前に、OpenAI 開発者コミュニティで、多くの人が GPT-4 32K がリリースされることについて議論しました。
このバージョンのロックを解除したネットユーザーは、HyperWrite をアンインストールしたユーザーからの数百のデータ ポイントにアクセスできるようになります。次にどのような改善を行うべきかを正確に彼に伝えます。
#32k は非常に強力なので、100K ではさらに強力になるのではないでしょうか?
100K トークンのコンテキスト長は、数百ページのテキスト分析をクロードにアップロードできることを意味します。また、会話の継続時間も大幅に延長され、数時間、場合によっては数日に及んでいます。
もちろん、クロードは長いテキストを読むだけでなく、文書から必要な情報を素早く取り出すこともできます。
複数のドキュメントや本の内容をプロンプトとして使用して、質問することができます。
今後論文に出会ったら、たとえ長い論文であっても、クロードに要約してもらうと、論文を読んでいる後輩たちにとっては単純に朗報です。
この種の包括的な質問では、通常、本文の多くの部分の内容を包括的に理解する必要があります。この種の問題では、ベクトル探索に基づく方法よりもクロードの方が優れていると言えます。
クロードはあなたの「コードコンパニオン」にもなり、数分でデモンストレーションを作成できます。
たとえば、240 ページの Langchain API ドキュメントをアップロードし、このドキュメントに基づいて、Anthropic の言語モデルを使用して Langchain の簡単なデモンストレーションを作成します。
85 ページの会社年次報告書 (10k) をクロードにフィードすることもできます。
次に、潜在的な投資家にとって最も重要な項目を強調し、その重要性を説明してもらいます。
さらに、Claude 100k は約 6 時間のオーディオを処理できます。
たとえば、AssemblyAI は、Carmack ポッドキャストのコンテンツを 58,000 トークンのテキストに書き起こし、Claude を使用して質問を要約して回答しました。
最後に、クロードは自分の能力をまとめました。カバー範囲は非常に充実していると言えます。
- 財務諸表や研究論文などの分厚い文書を理解し、要約し、解釈します。
- 会社の戦略的リスクとリスクを分析します。年次報告書に基づく機会
#- 法案の長所と短所を評価する
##- リスク、テーマ、さまざまな形式の議論を特定する法的文書- 何百ページもの開発ドキュメントを読み、技術的な質問に答えます
#- コードベース全体をコンテキストに入れてインテリジェントに構築することによって
もちろん、現時点では、100K コンテキストはまだベータ機能であり、この期間中は標準 API 価格に従って課金されると Anthropic は述べています。
#公式 Web サイトには具体的な価格も記載されています:
# # クロードインスタント
プロンプト: $0.00163 / 1K トークン
完了: $0.00551 / 1K トークン
Claude-v1
プロンプト: $0.01102 / 1K トークン
完了: $0.03268 / 1K トークン
OpenAI と比較すると、この価格はすでに非常に手頃な価格です。
OpenAI 公式 Web サイトによると、GPT-4 32k Prompt の料金は 0.06 ドル、Completion の料金は 0.12 ドルです。
同様に、モデルをプロンプトするには 5 ~ 6 倍の価格を費やす必要があります。
ネチズンは、Claude 100k は GPT-4 32k よりも高速で安価だと述べています。
ネチズンテストこのような大ヒットアップデートは、ネチズンの体験にとって不可欠なものに違いありません。
一部のネチズンは、100k というデータは単純に驚異的であり、複数の完全な論文、部分的に完全なコード ライブラリ、さらには 250 ページの小説を処理できると述べています。
ところで、多くのネチズンが最初にクロードをテストし、その効果がかなり優れていることがわかりました。
当初、API には 100K が制限されており、Claude によって適用されるデフォルト モデルは依然として 9K です。しかし、間もなく、Claude アプリケーション インターフェイスも 100K をサポートします。
ネットユーザーは 100 ページの「GPT-4 テクニカル レポート」を使用してテストしましたが、その結果は次のとおりです。素晴らしいと評されています。
太宰治の『世界失格』を直接クロードに与えて、物語のあらすじを尋ねた人もいました。英語。完全に正確な答えが得られました。
#同時に、このネチズンは自分が開発した Toolformer Zero の完全なソース コードを投げました。 、およびクロード これが何に使用されるかを正確に説明してください。
さらに、Claude はコードのモジュール性も賞賛し、いくつかの単体テストを追加するための提案を提供しました。
#「ベーオウルフ」の詩を捨てよ 入って行けベーオウルフの性格を分析しますが、これも非常に正確です。
Claude-100K の誕生により、AnthropicAI は正式に OpenAI の真の競合相手になります。
「多くの人がまだ 32,000 GPT-4 を求めて列に並んでいます。今回、Claude はコンテキスト ウィンドウを 100,000 トークンに拡張しましたが、これは大きな飛躍でした。
これは、OpenAI や Google を含む企業がこの分野で競争しなければならないことも意味しており、これはユーザーにとって大きな勝利となります。」
Google が PaLM 2 が高度な推論タスクに優れていることを発表するまでに 1 日もかかりませんでした。Anthropic の Claude は 1 分以内に 100,000 のトークンを消化できるようになりました。人工知能の進歩は確かに目覚ましいものがあります。
#ただし、9K でより少ないトークンを入力すると、前モデルをAntropicと呼ぶようです。
##数百万のトークンも夢ではありません
彼らの見解では、これは基本的な機械学習モデルの新時代の到来となるでしょう。
2022 年に研究者によって提案された FlashAttention アルゴリズムは、32k の実現可能性を証明しました。
サム アルトマンでさえ、32,000 トークンが必要だと言いました。
実際、32,000 だけでなく、現在では 100,000 が達成されており、数百万のトークンも遠くありません。
「まったくワイルドすぎる! 数年以内に、100 万のトークン コンテキスト長をサポートできるようになるでしょうか?」
少し前に、DeepPavlov、AIRI、およびロンドン数理科学研究所の研究者は、リカレント メモリ トランスフォーマー (RMT) を使用して、有効なコンテキスト長を延長する技術レポートを発表しました。 BERT. は、高いメモリ検索精度を維持しながら、「前例のない 200 万トークン」に達します。
紙のアドレス: https://arxiv.org/abs/2304.11062
#このメソッドは、ローカルおよびグローバル情報を保存および処理し、ループを使用して入力シーケンスのセグメント間で情報を流すことができます。
ただし、RMT はメモリ消費量を増加させず、ほぼ無制限のシーケンス長まで拡張できますが、RNN には依然としてメモリ減衰の問題があり、より長い推論時間が必要になります。実際、RMT の背後にはまったく新しいメモリ メカニズムがあります。
具体的な操作方法は、元の Transformer モデルを変更せずに、入力または出力シーケンスに特別なメモリ トークンを追加し、メモリ操作とシーケンス表現を制御するようにモデルをトレーニングすることです。処理。
Transformer-XL と比較して、RMT は必要なメモリが少なく、より長い一連のタスクを処理できます。 もちろん、クロード 100k は、最終的に 100 万トークンに到達するまでに、すでにかなり大きなスタートとなっています。
以上が『三体問題』の半分を一気に読んでしまいましょう! GPT-4の最強のライバルが突如10万トークンにアップグレード、ペーパーコードのデモも完了の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

私のコラムに新しいかもしれない人のために、具体化されたAI、AI推論、AIのハイテクブレークスルー、AIの迅速なエンジニアリング、AIのトレーニング、AIのフィールディングなどのトピックなど、全面的なAIの最新の進歩を広く探求します。

ヨーロッパの野心的なAI大陸行動計画は、人工知能のグローバルリーダーとしてEUを確立することを目指しています。 重要な要素は、AI GigaFactoriesのネットワークの作成であり、それぞれが約100,000の高度なAIチップを収容しています。

AIエージェントアプリケーションに対するMicrosoftの統一アプローチ:企業の明確な勝利 新しいAIエージェント機能に関するマイクロソフトの最近の発表は、その明確で統一されたプレゼンテーションに感銘を受けました。 TEで行き詰まった多くのハイテクアナウンスとは異なり

Shopify CEOのTobiLütkeの最近のメモは、AIの能力がすべての従業員にとって基本的な期待であると大胆に宣言し、会社内の重大な文化的変化を示しています。 これはつかの間の傾向ではありません。これは、pに統合された新しい運用パラダイムです

IBMのZ17メインフレーム:AIを強化した事業運営の統合 先月、IBMのニューヨーク本社で、Z17の機能のプレビューを受け取りました。 Z16の成功に基づいて構築(2022年に開始され、持続的な収益の成長の実証

揺るぎない自信のロックを解除し、外部検証の必要性を排除します! これらの5つのCHATGPTプロンプトは、完全な自立と自己認識の変革的な変化に向けて導きます。 ブラケットをコピー、貼り付け、カスタマイズするだけです

人工知能のセキュリティおよび研究会社であるAnthropicによる最近の[研究]は、これらの複雑なプロセスについての真実を明らかにし始め、私たち自身の認知領域に不穏に似た複雑さを示しています。自然知能と人工知能は、私たちが思っているよりも似ているかもしれません。 内部スヌーピング:人類の解釈可能性研究 人類によって行われた研究からの新しい発見は、AIの内部コンピューティングをリバースエンジニアリングすることを目的とする機械的解釈可能性の分野の大きな進歩を表しています。AIが何をするかを観察するだけでなく、人工ニューロンレベルでそれがどのように行うかを理解します。 誰かが特定のオブジェクトを見たり、特定のアイデアについて考えたりしたときに、どのニューロンが発射するかを描くことによって脳を理解しようとすることを想像してください。 a

Qualcomm's DragonWing:企業とインフラストラクチャへの戦略的な飛躍 Qualcommは、新しいDragonwingブランドで世界的に企業やインフラ市場をターゲットにして、モバイルを超えてリーチを積極的に拡大しています。 これは単なるレブランではありません


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

MantisBT
Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

SublimeText3 中国語版
中国語版、とても使いやすい

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

ホットトピック



