GPT-4 32K がまだ内部テスト段階にあったとき、OpenAI の強力なライバルはコンテキストの長さを直接増加させました。
ちょうど今日、スタートアップ Anthropic が、Claude がすでに 100K (約 75,000 単語) のコンテキスト トークン長をサポートできることを発表しました。
#このコンセプトは何ですか?
平均的な人は、同じ量のコンテンツを読むのに約 5 時間かかりますが、消化、記憶、分析にはさらに多くの時間を費やす必要があります。
クロードの場合、それは 1 分以内に完了しました。
本「華麗なるギャツビー」全体 (約 72,000 トークンを含む) をそこに投げて、一文を変更します:
Mr. Carraway Anthropic で機械学習ツールに取り組んでいるソフトウェア エンジニアです。 ############信じられますか?クロードは変更された文を見つけるのにわずか 22 秒しかかかりませんでした。
多くのネチズンは、Claude 100K では、手に持っている GPT-4 32K はもうダメだと言いました。
#クロード 100k、ベル シャン!
少し前に、OpenAI 開発者コミュニティで、多くの人が GPT-4 32K がリリースされることについて議論しました。
このバージョンのロックを解除したネットユーザーは、HyperWrite をアンインストールしたユーザーからの数百のデータ ポイントにアクセスできるようになります。次にどのような改善を行うべきかを正確に彼に伝えます。
#32k は非常に強力なので、100K ではさらに強力になるのではないでしょうか?
100K トークンのコンテキスト長は、数百ページのテキスト分析をクロードにアップロードできることを意味します。また、会話の継続時間も大幅に延長され、数時間、場合によっては数日に及んでいます。
もちろん、クロードは長いテキストを読むだけでなく、文書から必要な情報を素早く取り出すこともできます。
複数のドキュメントや本の内容をプロンプトとして使用して、質問することができます。
今後論文に出会ったら、たとえ長い論文であっても、クロードに要約してもらうと、論文を読んでいる後輩たちにとっては単純に朗報です。
この種の包括的な質問では、通常、本文の多くの部分の内容を包括的に理解する必要があります。この種の問題では、ベクトル探索に基づく方法よりもクロードの方が優れていると言えます。
クロードはあなたの「コードコンパニオン」にもなり、数分でデモンストレーションを作成できます。
たとえば、240 ページの Langchain API ドキュメントをアップロードし、このドキュメントに基づいて、Anthropic の言語モデルを使用して Langchain の簡単なデモンストレーションを作成します。
85 ページの会社年次報告書 (10k) をクロードにフィードすることもできます。
次に、潜在的な投資家にとって最も重要な項目を強調し、その重要性を説明してもらいます。
さらに、Claude 100k は約 6 時間のオーディオを処理できます。
たとえば、AssemblyAI は、Carmack ポッドキャストのコンテンツを 58,000 トークンのテキストに書き起こし、Claude を使用して質問を要約して回答しました。
最後に、クロードは自分の能力をまとめました。カバー範囲は非常に充実していると言えます。
- 財務諸表や研究論文などの分厚い文書を理解し、要約し、解釈します。
- 会社の戦略的リスクとリスクを分析します。年次報告書に基づく機会
#- 法案の長所と短所を評価する
##- リスク、テーマ、さまざまな形式の議論を特定する法的文書- 何百ページもの開発ドキュメントを読み、技術的な質問に答えます
#- コードベース全体をコンテキストに入れてインテリジェントに構築することによって
もちろん、現時点では、100K コンテキストはまだベータ機能であり、この期間中は標準 API 価格に従って課金されると Anthropic は述べています。
#公式 Web サイトには具体的な価格も記載されています:
# # クロードインスタント
プロンプト: $0.00163 / 1K トークン
完了: $0.00551 / 1K トークン
Claude-v1
プロンプト: $0.01102 / 1K トークン
完了: $0.03268 / 1K トークン
OpenAI と比較すると、この価格はすでに非常に手頃な価格です。
OpenAI 公式 Web サイトによると、GPT-4 32k Prompt の料金は 0.06 ドル、Completion の料金は 0.12 ドルです。
同様に、モデルをプロンプトするには 5 ~ 6 倍の価格を費やす必要があります。
ネチズンは、Claude 100k は GPT-4 32k よりも高速で安価だと述べています。
ネチズンテストこのような大ヒットアップデートは、ネチズンの体験にとって不可欠なものに違いありません。
一部のネチズンは、100k というデータは単純に驚異的であり、複数の完全な論文、部分的に完全なコード ライブラリ、さらには 250 ページの小説を処理できると述べています。
ところで、多くのネチズンが最初にクロードをテストし、その効果がかなり優れていることがわかりました。
当初、API には 100K が制限されており、Claude によって適用されるデフォルト モデルは依然として 9K です。しかし、間もなく、Claude アプリケーション インターフェイスも 100K をサポートします。
ネットユーザーは 100 ページの「GPT-4 テクニカル レポート」を使用してテストしましたが、その結果は次のとおりです。素晴らしいと評されています。
太宰治の『世界失格』を直接クロードに与えて、物語のあらすじを尋ねた人もいました。英語。完全に正確な答えが得られました。
#同時に、このネチズンは自分が開発した Toolformer Zero の完全なソース コードを投げました。 、およびクロード これが何に使用されるかを正確に説明してください。
さらに、Claude はコードのモジュール性も賞賛し、いくつかの単体テストを追加するための提案を提供しました。
#「ベーオウルフ」の詩を捨てよ 入って行けベーオウルフの性格を分析しますが、これも非常に正確です。
Claude-100K の誕生により、AnthropicAI は正式に OpenAI の真の競合相手になります。
「多くの人がまだ 32,000 GPT-4 を求めて列に並んでいます。今回、Claude はコンテキスト ウィンドウを 100,000 トークンに拡張しましたが、これは大きな飛躍でした。
これは、OpenAI や Google を含む企業がこの分野で競争しなければならないことも意味しており、これはユーザーにとって大きな勝利となります。」
Google が PaLM 2 が高度な推論タスクに優れていることを発表するまでに 1 日もかかりませんでした。Anthropic の Claude は 1 分以内に 100,000 のトークンを消化できるようになりました。人工知能の進歩は確かに目覚ましいものがあります。
#ただし、9K でより少ないトークンを入力すると、前モデルをAntropicと呼ぶようです。
##数百万のトークンも夢ではありません
彼らの見解では、これは基本的な機械学習モデルの新時代の到来となるでしょう。
2022 年に研究者によって提案された FlashAttention アルゴリズムは、32k の実現可能性を証明しました。
サム アルトマンでさえ、32,000 トークンが必要だと言いました。
実際、32,000 だけでなく、現在では 100,000 が達成されており、数百万のトークンも遠くありません。
「まったくワイルドすぎる! 数年以内に、100 万のトークン コンテキスト長をサポートできるようになるでしょうか?」
少し前に、DeepPavlov、AIRI、およびロンドン数理科学研究所の研究者は、リカレント メモリ トランスフォーマー (RMT) を使用して、有効なコンテキスト長を延長する技術レポートを発表しました。 BERT. は、高いメモリ検索精度を維持しながら、「前例のない 200 万トークン」に達します。
紙のアドレス: https://arxiv.org/abs/2304.11062
#このメソッドは、ローカルおよびグローバル情報を保存および処理し、ループを使用して入力シーケンスのセグメント間で情報を流すことができます。
ただし、RMT はメモリ消費量を増加させず、ほぼ無制限のシーケンス長まで拡張できますが、RNN には依然としてメモリ減衰の問題があり、より長い推論時間が必要になります。実際、RMT の背後にはまったく新しいメモリ メカニズムがあります。
具体的な操作方法は、元の Transformer モデルを変更せずに、入力または出力シーケンスに特別なメモリ トークンを追加し、メモリ操作とシーケンス表現を制御するようにモデルをトレーニングすることです。処理。
Transformer-XL と比較して、RMT は必要なメモリが少なく、より長い一連のタスクを処理できます。 もちろん、クロード 100k は、最終的に 100 万トークンに到達するまでに、すでにかなり大きなスタートとなっています。
以上が『三体問題』の半分を一気に読んでしまいましょう! GPT-4の最強のライバルが突如10万トークンにアップグレード、ペーパーコードのデモも完了の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

自从 ChatGPT、Stable Diffusion 发布以来,各种相关开源项目百花齐放,着实让人应接不暇。今天,着重挑选几个优质的开源项目分享给大家,对我们的日常工作、学习生活,都会有很大的帮助。

Word文档拆分后的子文档字体格式变了的解决办法:1、在大纲模式拆分文档前,先选中正文内容创建一个新的样式,给样式取一个与众不同的名字;2、选中第二段正文内容,通过选择相似文本的功能将剩余正文内容全部设置为新建样式格式;3、进入大纲模式进行文档拆分,操作完成后打开子文档,正文字体格式就是拆分前新建的样式内容。

面对一夜爆火的 ChatGPT ,我最终也没抵得住诱惑,决定体验一下,不过这玩意要注册需要外国手机号以及科学上网,将许多人拦在门外,本篇博客将体验当下爆火的 ChatGPT 以及无需注册和科学上网,拿来即用的 ChatGPT 使用攻略,快来试试吧!

用 ChatGPT 辅助写论文这件事,越来越靠谱了。 ChatGPT 发布以来,各个领域的从业者都在探索 ChatGPT 的应用前景,挖掘它的潜力。其中,学术文本的理解与编辑是一种极具挑战性的应用场景,因为学术文本需要较高的专业性、严谨性等,有时还需要处理公式、代码、图谱等特殊的内容格式。现在,一个名为「ChatGPT 学术优化(chatgpt_academic)」的新项目在 GitHub 上爆火,上线几天就在 GitHub 上狂揽上万 Star。项目地址:https://github.com/

阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。 阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。使用 Python 和 C

ChatGPT可以联网后,OpenAI还火速介绍了一款代码生成器,在这个插件的加持下,ChatGPT甚至可以自己生成机器学习模型了。 上周五,OpenAI刚刚宣布了惊爆的消息,ChatGPT可以联网,接入第三方插件了!而除了第三方插件,OpenAI也介绍了一款自家的插件「代码解释器」,并给出了几个特别的用例:解决定量和定性的数学问题;进行数据分析和可视化;快速转换文件格式。此外,Greg Brockman演示了ChatGPT还可以对上传视频文件进行处理。而一位叫Andrew Mayne的畅销作

本篇文章给大家带来了关于php的相关知识,其中主要介绍了我是怎么用ChatGPT学习PHP中AOP的实现,感兴趣的朋友下面一起来看一下吧,希望对大家有帮助。


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

WebStorm Mac版
便利なJavaScript開発ツール

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ホットトピック









