ホームページ > 記事 > テクノロジー周辺機器 > 7月の最も人気のあるAI研究リストが発表、馬毅氏の最新「標準モデル」が9位にランクイン
7月に最も人気のあるAI研究のリストが発表されました!
Reddit ネチズン @bycloudai がまとめたこのリストは、Twitter のいいね数、リツイート、DeepMind、Google、MIT CSAIL などの有名機関を含む Github スターに基づいて、2022 年 7 月の AI 研究トップ 10 にランク付けされています。
誰がリストに載っているのか見てみましょう~
著者: Mary Phuong、Marcus Hutter
機関: DeepMind
要約: この文書は、Transformer のアーキテクチャとアルゴリズムの独立した数学的に正確な概要を目的としています。 Transformer とは何か、そのトレーニング方法、その使用方法、主要なアーキテクチャ コンポーネント、および最も著名なモデルのプレビューについて説明します。
著者: Tal Schuster、Adam Fisch、Jai Gupta、Mostafa Dehghani、Dara Bahri、Vinh Q Tran、Yi Tay、Donald Metzler
機関: Google、MIT CSAIL
要約: Transformer ベースの大規模言語モデル (LLM) の最近の進歩により、多くのタスクのパフォーマンスが大幅に向上しました。ただし、パフォーマンスが向上する一方で、モデルのサイズも大幅に増加するため、推論プロセスが複雑になり、コストが増加する可能性があります。ただし、実際には、大規模な言語モデルでは、さまざまな難易度からなる一連の反復が生成されます。
この研究では、さまざまな量のコンピューター入力と生成期間を動的に割り当てるためのフレームワークである Confident Adaptive Language Model-ing (CALM) を紹介します。
早期終了デコードには、ここで扱ういくつかの問題が含まれます: (1) どのような信頼性尺度を使用するか、(2) シーケンス レベルの制約をローカル トークンの終了決定にリンクする、(3) 失われた隠蔽表現のバックトラック前のトークンが早期に終了したため。 3 つの異なるテキスト生成タスクに関する理論分析と実験を通じて、計算量の削減におけるフレームワークの有効性を実証し、高いパフォーマンスを維持しながら最大 3 倍まで高速化できる可能性があります。
著者: Saurav Kadavath、Tom Conerly、Amanda Askell、Tom Henighan など
組織: Anthropic
要約: この論文では、言語モデルが自身の主張の妥当性を評価し、どの質問に正しく答えることができるかを予測できるかどうかを調査します。まず、より大きなモデルが正しい形式で提供されると、さまざまな多肢選択式質問や正誤問題に対して適切に調整されることを示します。したがって、モデルに最初に答えを提案してから、その答えが正しい確率 P(True) を評価するように依頼することで、オープン サンプリング タスクを自己評価できます。
P(True) は、そのパフォーマンス、キャリブレーション、さまざまなタスクにわたるスケーリングにおいて魅力的であると考えています。特定の可能性の妥当性を予測する前に、モデルが独自のサンプルの多くを考慮できるようにすると、自己評価のパフォーマンスがさらに向上します。次に、特定の提案された答えを参照せずに、「質問に対する答えを知っている」確率である P(IK) を予測するモデルをトレーニングできるかどうかを調査します。
著者: Chien-Yao Wang、Alexey Bochkovskiy、Hong-Yuan Mark Liao
機関: 中央研究院情報科学研究所
著者: David Dohan、Winnie Xu、 Aitor Lewkowycz 他
機関: Google
著者: Zuzeng Lin、Ailin Huang、 Zhewei Huang 他
機関: 武漢大学、Megvii Technology
著者: Grégoire Delétang 、アニアン・ルオス、ジョルディ・グラウ=モヤ、ティム・ジェネヴァインなど
機関: DeepMind
著者: Phillip Rust、Jonas F. Lotz、Emanuele Bugliarello、 etc.
機関: コペンハーゲン大学、ジョンズ・ホプキンス大学、ウプサラ大学
著者: Ma Yi、Cao Ying、Shen Xiangyang
機関: カリフォルニア大学バークレー校、広東-香港-マカオ大湾区デジタル経済研究所
この論文は、Ma Yi 教授、コンピューター科学者の Shen Xiangyang 博士、神経科学者の Cao Ying 教授によって発表された人工知能の出現と発展に関する研究レビューであり、開発の概要とも言えます。過去 70 年間の AI の進歩を表しています。
著者: Yi Tay、Mostafa Dehghani、Samira Abnar
機関: Google、DeepMind
トップ 10 の専門家の論文を読んだ後、このリストの興味深い詳細について話しましょう。
誰もが知っているように、Twitter の「いいね」はロボットによって生成される可能性がありますが、著者が「いいね」の数をリストの重要な指標として使用していることには、確かに疑問の余地があります。
また、以前大好評だった「無限ビジュアル生成モデル NUWA-Infinity」はTwitterのいいね数では12位にとどまりましたが、Githubのスター数では2.4kを超えました。
NUWA Infinity は 2021 年 11 月に最初のバージョンをリリースしているため、このリストではそれ以降の 2 番目のバージョンの「いいね!」の数のみがカウントされているため、ランキングは 12 位にすぎません。
以上が7月の最も人気のあるAI研究リストが発表、馬毅氏の最新「標準モデル」が9位にランクインの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。