CoRL 2022 優秀論文; 言語モデルは自然界に存在しないタンパク質を生成する

目次

1. ##言語モデルは天然タンパク質を超えて一般化する
2. 生成タンパク質設計のための高レベル プログラミング言語
3. DOC: 詳細なアウトライン コントロールによる長いストーリーの一貫性の向上
4. トランスフォーマーを使用したスケーラブルな拡散モデル
##Point-E: 複雑なプロンプトから 3D 点群を生成するシステム
若々しいエピジェネティック情報を回復し復元するための再プログラミングビジョン
ロボットを評価するためのロボットのトレーニング: 政策学習のためのサンプルベースのインタラクティブな報酬関数
ArXiv Weekly Radiostation: NLP、CV、ML 詳細厳選された論文 (音声付き)

論文 1: 言語モデルは天然タンパク質を超えて一般化する

• 著者: Robert Verkuil、Ori Kabeli、他
##論文アドレス: https://www .biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf

#Abstract

: 研究者たちは、次の 2 つのタンパク質設計タスクに焦点を当てました。指定された構造のバックボーン設計を修正し、モデルからサンプリングされた構造を制約なく生成します。言語モデルはシーケンスのみでトレーニングされましたが、研究では構造を設計できることがわかりました。この研究の実験結果では、合計 228 個のタンパク質が生成され、設計成功率は 152/228 (67%) でした。 実験的に成功した 152 のデザインのうち、35 には既知の天然タンパク質と明らかな配列一致がありませんでした。

固定バックボーン設計の場合、言語モデルは、実験的に評価された 8 つの人間が作成した固定バックボーン ターゲットのタンパク質設計を生成することに成功しました。

制約なし生成の場合、サンプルされたタンパク質はさまざまなトポロジーと二次構造組成をカバーしており、結果として 71/129 (55%) という高い実験成功率が得られます。

# 以下の図 1 は、ESM2 モデルを使用したタンパク質設計の全体的なプロセスです。

##推奨事項

: この研究では、ESM2 言語モデルが深い文法を学習することで、天然タンパク質以外の新しいタンパク質を生成できることがわかりました。

論文 2: 生成タンパク質設計のための高水準プログラミング言語

著者: Brian Hie、Salvatore Candido など。

• 論文アドレス: https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1。 pdf
要約

: FAIR 研究者はモジュール性とプログラマビリティから開始し、それらをより高い抽象レベルに置きます。高レベルの命令を再アセンブルし、生成されたモデルでその命令を実行します。

彼らが提案したタンパク質設計を生成するためのプログラミング言語により、設計者は直観的、モジュール式、階層的な手順を指定できます。プログラミング言語には、まず構文ツリー (図 1A) が必要ですが、これは終端記号 (つまり、ツリーの葉) と非終端記号 (つまり、ツリーの内部ノード) で構成されます。前者は固有のタンパク質に対応します。シーケンス (タンパク質内で繰り返される可能性があります)。後者は階層構造をサポートします。

さらに、エネルギーベースの発電モデルも必要です。まず、Protein Designer は、階層的に編成された一連の制約から構成される高レベルのプログラムを指定します (図 1A)。次に、プログラムは、任意で微分不可能な制約との互換性を評価するために使用されるエネルギー関数にコンパイルされます (図 1B)。最後に、原子レベルの構造予測 (言語モデルでサポート) をエネルギー関数に組み込むことで、多数の複雑なタンパク質設計を生成できます (図 1C)。

推奨事項 : 複雑なモジュール構造のタンパク質構造をプログラムで生成します。

#論文 3: DOC: 詳細なアウトライン コントロールによる長いストーリーの一貫性の向上

• ##著者: Kevin Yang、Dan Klein など
• 論文アドレス: https://arxiv.org/pdf/2212.10077 .pdf

要約: 少し前に、人間の執筆プロセスを模倣する言語モデルである Re^3 がリリースされました。モデルでは大規模なモデルを微調整する必要はありませんが、一貫したストーリーを生成するにはプロンプトを設計する必要があります。

今回、研究チームはストーリーを生成するための新しいモデル DOC を提案しました。この論文の著者である Kevin Yang 氏と Tian Yuandong 氏も Twitter に投稿して DOC モデルを推進し、DOC によって生成されたストーリーは Re^3 によって生成されたストーリーよりも一貫性があり興味深いと述べました。

DOC フレームワークとは、詳細なアウトライン コントロールを意味します。これは、数千語の長さのストーリーを自動的に生成する際に、プロットの一貫性を向上させるために使用されます。 DOC は、詳細アウトライナーと詳細コントローラーという 2 つの補完的なコンポーネントで構成されます。

Detailed Outliner は、執筆のアイデアを草案から計画段階に移行する、詳細な階層構造のアウトラインを作成する役割を果たします。詳細コントローラーは、ストーリーの段落とアウトラインの詳細の位置合わせを制御することにより、生成された結果が詳細なアウトラインに従うようにします。

この研究では、ストーリーを自動的に生成するモデルの機能を手動で評価しました。DOC は、プロットの一貫性 (22.5%)、概要の関連性 (28.2%)、およびfun (20.7%)、これは Re^3 モデルよりもはるかに優れています。さらに、DOC は対話型ビルド環境での制御が容易です。

推奨事項 : Tian Yuandong と他のオリジナル チーム メンバーによるもう 1 つの新作: AI が長い物語を生成する, 数字 1,000 ワードの記事であっても、一貫性があり興味深いものになる可能性があります。

#論文 4: 変圧器を使用したスケーラブルな拡散モデル

# 著者: William Peebles、Xie Saining

• #論文アドレス: https://arxiv.org/pdf/2212.09748.pdf
• ##要約
: この記事では、UC バークレーの William Peebles とニューヨーク大学の Xie Saining が「トランスフォーマーを使用したスケーラブルな拡散モデル」を執筆しました。目標は、拡散モデルにおけるアーキテクチャ上の選択の重要性を明らかにし、提供することです。将来の世代モデルのためのガイダンス 研究により、経験的なベースラインが提供されます。この研究は、U-Net 誘導バイアスは拡散モデルのパフォーマンスにとって重要ではなく、変圧器などの標準設計で簡単に置き換えることができることを示しています。

この研究は、トランスフォーマーベースの拡散モデルの新しいクラスである拡散トランスフォーマー (略して DiT) に焦点を当てています。 DiT は、Vision Transformers (ViT) のベスト プラクティスに従い、小さいながらも重要な調整が加えられています。 DiT は、ResNet などの従来の畳み込みネットワークよりも効率的に拡張できることが示されています。

特に、この記事では、ネットワークの複雑さとサンプル品質の観点から、Transformer のスケーリング動作を研究します。潜在拡散モデル (LDM) フレームワークの下で DiT 設計空間を構築およびベンチマークすることにより、拡散モデルが VAE の潜在空間内でトレーニングされることで、U-Net バックボーンをトランスフォーマーに置き換えることが可能であることが示されています。この論文はさらに、DiT が拡散モデルのスケーラブルなアーキテクチャであることを示しています。ネットワークの複雑さ (Gflops で測定) とサンプルの品質 (FID で測定) の間には強い相関関係があります。 DiT を拡張し、大容量バックボーン (118.6 Gflops) で LDM をトレーニングするだけで、クラス条件付き 256 × 256 ImageNet 生成ベンチマークで 2.27 FID という最先端の結果が達成されます。

推奨事項 : 普及モデルを支配する U-Net は置き換えられ、次のように導入されます。 Xie Senin et al. Transformer は DiT を提案しています。

論文 5: Point-E: 複雑なプロンプトから 3D 点群を生成するシステム

• #著者: Alex Nichol、Heewoo Jun など
• 論文アドレス: https://arxiv.org/abs/2212.08751

要約: OpenAI のオープンソース 3D モデル ジェネレーター Point-E は、AI 界に新たなブームを引き起こしました。オープンソース コンテンツとともに公開された論文によると、Point-E は単一の Nvidia V100 GPU で 1 ～ 2 分で 3D モデルを生成できます。これに比べ、Google の DreamFusion などの既存のシステムは通常、数時間と複数の GPU を必要とします。

Point-E は、従来の意味での 3D イメージを出力するのではなく、点群、つまり 3D 形状を表す空間内のデータ ポイントの離散セットを生成します。 Point-E の E は「効率」を表し、以前の 3D オブジェクト生成方法よりも高速であることを意味します。点群は計算の観点からは合成が容易ですが、オブジェクトの粒度の細かい形状やテクスチャをキャプチャすることができません。これが現在の Point-E の重要な制限です。

この問題を解決するために、OpenAI チームは追加の人工知能システムをトレーニングして、Point-E の点群をメッシュに変換しました。

推奨 : 3 次元のテキストから画像への AI が利用可能になりました: シングル GPU は 1 分以内に出荷されますOpenAI によって作成されました。

論文 6: 若々しいエピジェネティック情報を回復し、視力を回復するための再プログラミング

• 著者：Yuancheng Lu、Benedikt Brommer
• 論文アドレス: https://www.nature.com/articles/s41586-020-2975-4

要約: 2020 年 12 月 2 日、トップ科学雑誌「Nature」の表紙に、「時間を戻す」といういくつかの驚くべき言葉が掲載されました。

表紙の研究は、ハーバード大学医学部の終身教授であるデイビッド・シンクレア氏のチームによるものです。この論文はわずか数ページの長さですが、遺伝子治療を使用して神経節細胞の再プログラミングを誘導し、若々しいエピジェネティックな情報を復元することで、損傷後に視神経が再生し、緑内障や老化によって引き起こされる視力の回復を可能にするという新たな展望を示しています。 。

デビッド・シンクレア氏は、チームの研究目標は常に人間の老化を遅らせ、逆転させ、症状ではなく原因に対処することで病気を治療することであったと語った。

この2020年の研究に基づいて、デビッド・シンクレアのチームは、「REVIVER」と呼ばれる年齢逆転技術を使用して、人間以外の霊長類でそれをテストし、安全かどうかを確認し、失明を次のように扱うかを観察しています。マウスではそうなります。

最新の研究は David Sinclair と彼が率いる 60 人のチームによるもので、老化とは CD の消去可能な傷や、システム内のソフトウェアの損傷のようなもので、これは次のような方法で達成できると述べています。 『ライフスパン』の本に書かれているように、逆転です。

著者らはプレプリント論文で、すべての生物は時間の経過とともに遺伝情報を失い、細胞機能を徐々に失うと述べています。研究者らは、ICE (Inducible Changes in the Epigenome) として知られるトランスジェニックマウスシステムを使用して、非変異原性 DNA 切断を修復するプロセスにより、加齢に伴う生理的、認知的、分子的変化が加速されることを実証しました。細胞の能力、細胞の老化など。

異所性発現によるエピジェネティックな再プログラミングにより、若々しい遺伝子発現パターンを回復できると研究者らは述べています。

推奨事項 : 老化を逆転させる研究。

#論文 7: ロボットを評価するためのロボットのトレーニング: ポリシー学習のためのサンプルベースの対話型報酬関数

• ##著者: Kun Huang、Edward Hu、Dinesh Jayaraman
• ##論文アドレス: https://openreview.net/pdf?id=sK2aWU7X9b8

要約: 多くの場合、物理的な相互作用は、テーブルの脚を引っ張るときなど、あまり明らかではない情報を明らかにするのに役立ちます。テーブルの脚が安定しているかどうかを評価するには、この研究では、ロボットがスキルを実行しようとした結果を評価するようにロボットを訓練することによって、このインタラクティブな行動を自動的に獲得できる可能性があることを示唆しています。これらの評価は、テーブルの脚を締めるなどの目標スキルを実行するための強化学習ポリシーをトレーニングするために使用される IRF (対話型報酬関数) として機能します。さらに、IRF は、完全なトレーニングが完了した後でも、オンライン タスクの実行を向上させる検証メカニズムとして機能します。どのようなタスクにおいても、IRF トレーニングは非常に便利であり、追加の仕様は必要ありません。

評価結果は、IRF がパフォーマンスの大幅な向上を達成し、デモや慎重に作成された報酬へのアクセスによってベースラインを超えることさえできることを示しています。たとえば、下の図では、ロボットはまずドアを閉め、次に対称のドア ハンドルを回転させてドアを完全にロックする必要があります。

以上がCoRL 2022 優秀論文; 言語モデルは自然界に存在しないタンパク質を生成するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。