NVIDIA 64 A100 トレーニング StyleGAN-T、9 種類の生成 AI モデルのレビュー

ディレクトリ:

1. カーネル メソッドを超えた量子機械学習
2. ウェアラブルマルチタスク学習のための空間通過電荷輸送特性を持つ光電子ポリマーを使用したセンサー コンピューティング リザーバー
3. ダッシュ: 動的しきい値を使用した半教師あり学習
4. StyleGAN-T: 高速大規模なテキストから画像への合成のための GAN の力の解放
5. マルチモーダル知識伝達によるオープンボキャブラリーのマルチラベル分類
6. ChatGPT だけが必要なわけではありません。大規模な生成 AI モデルの最先端のレビュー
7. ClimaX: 気象と気候の基礎モデル
8. ArXiv Weekly Radiostation: NLP、CV、ML その他の厳選された論文 (音声付き)

論文 1: 量子機械学習カーネルメソッドを超えて

• 著者: Sofiene Jerbi 他
• ##論文アドレス: https://www.nature.com/articles/s41467-023-36159-y

要約:この記事では、オーストリア、インスブルック大学の研究チームは、パラメータ化された量子回路に基づいてすべての標準モデルを捉える構築的なフレームワークである線形量子モデルを特定しました。

研究者らは、量子情報理論のツールを使用して、データ再アップロード回路を量子ヒルベルト空間の線形モデルのより単純な図に効率的にマッピングする方法を示しています。さらに、これらのモデルの実験に関連したリソース要件は、量子ビットの数と学習する必要があるデータの量の観点から分析されます。古典的な機械学習に基づく最近の結果は、線形量子モデルが特定の学習タスクを解決するにはデータ再アップロード モデルよりも多くの量子ビットを使用する必要がある一方、カーネル手法ではより多くのデータ ポイントも必要であることを示しています。

結果により、量子機械学習モデルについてのより包括的な理解が得られるとともに、さまざまなモデルと NISQ 制約との互換性についての洞察が得られます。

この研究で研究された量子マシン学習モデル。

推奨:

カーネル手法を超えた量子機械学習、量子学習モデルの統合フレームワーク。 #論文 2: マルチタスク学習のための空間電荷輸送特性を備えた光電子ポリマーを使用したウェアラブルなセンサー内リザーバー コンピューティング

著者: Xiaosong Wu 他

• 論文アドレス: https://www.nature.com/articles/ s41467 -023-36205-9
要約:

センサー内マルチタスク学習は、生物視覚の重要な利点であるだけではありません。しかし、人工知能ターゲットの大きな利点でもあります。ただし、従来のシリコン ビジョン チップには大きな時間とエネルギーのオーバーヘッドがあります。さらに、従来の深層学習モデルのトレーニングは、エッジ デバイスでは拡張性がなく、手頃な価格でもありません。

この記事では、

中国科学院と香港大学の研究チームが、科学の学習パラダイムをシミュレートするための材料アルゴリズムの共同設計を提案しています。人間の網膜を低いオーバーヘッドで実現します。効率的な励起子解離と空間電荷輸送特性を備えたボトルブラシ型半導体 p-NDI に基づいて、さまざまなタスク特性、減衰メモリ、およびエコー状態特性において優れた分離性を示すウェアラブル トランジスタ ベースのダイナミック センサー リザーバー コンピューティング システムが開発されています。

メムリスティブ有機ダイオードの「読み取り機能」と組み合わせることで、RC は手書きの文字と数字を認識し、さまざまな衣類を 98.04%、88.18%、91.76% の精度で分類できます。 (報告されているすべての有機半導体よりも高い)。

従来の半導体と p-NDI の光電流応答の比較、およびセンサー内の RC システムの詳細な半導体設計原理。

推奨事項: 低エネルギー消費と低消費時間で、中国科学院と香港大学のチームは、新しい方法を使用して複数の実験を実行しました。ウェアラブルセンサーの内部リザーバー計算のためのタスク学習。

論文 3: ダッシュ: 動的しきい値を使用した半教師あり学習

• 著者: Yi Xu 他
• #論文アドレス: https://proceedings.mlr.press/v139/xu21e/xu21e.pdf

要約: この論文では、動的閾値を使用して半教師あり学習 (SSL) のラベルのないサンプルをフィルタリングすることを革新的に提案します。手法として、半教師あり学習のトレーニング フレームワークを変換しました。学習の際に、トレーニング プロセス中のラベルなしサンプルの選択戦略が改善され、しきい値を動的に変更することでトレーニング用に、より効果的なラベルなしサンプルが選択されました。 Dash は、既存の半教師あり学習方法 と簡単に統合できる一般的な戦略です。

実験に関しては、CIFAR-10、CIFAR-100、STL-10、SVHNなどの標準データセットでその有効性を十分に検証しました。理論的には、この論文は非凸最適化の観点から Dash アルゴリズムの収束特性を証明しています。

##フィックスマッチ トレーニング フレームワーク

推奨事項:

Damo Academy のオープンソースの半教師あり学習フレームワーク Dash は、多くの SOTA を更新します。

論文 4: StyleGAN-T: 高速大規模なテキストから画像への合成のための GAN の力の解放

著者: Axel Sauer et al
論文アドレス: https://arxiv.org/pdf/2301.09515.pdf

要約:

拡散モデルはテキストから画像への生成に最適ですか?必ずしもそうとは限りませんが、Nvidia などが発表した新しい StyleGAN-T の結果は、GAN が依然として競争力があることを示しています。 StyleGAN-T は、解像度 512×512 の画像を生成するのにわずか 0.1 秒かかります:

推奨事項: GAN が戻ってきましたか? NVIDIA は、A100 の StyleGAN-T のトレーニングに 64 時間を費やし、普及モデルを上回りました。

#論文 5: マルチモーダル知識伝達によるオープン語彙マルチラベル分類

##著者: Sunan He et al

##論文アドレス: https://arxiv.org/abs/2207.01887

• #要約:
マルチラベル分類システムでは、トレーニング セットに一度も出現したことのない多数のラベルに遭遇することがよくあります。これらのラベルを正確に識別する方法は非常に重要であり、難しい問題です。
• この目的のために、
Tencent Youtu Lab は清華大学および深セン大学と協力して、マルチモーダルな知識伝達に基づくフレームワーク MKT を提案しました

、画像テキスト事前トレーニング モデルの強力な画像テキスト マッチング機能を利用して、画像分類における主要な視覚的一貫性情報を保持し、マルチラベル シーンのオープン ボキャブラリ分類を実現します。この作品はAAAI 2023 Oralに選出されました。

ML-ZSL メソッドと MKT メソッドの比較。

推奨: AAAI 2023 Oral | 未知のタグを識別する方法は?新しい SOTA を実現するためのマルチモーダルな知識伝達フレームワーク。

論文 6: ChatGPT だけが必要なわけではない、大規模な生成 AI モデルの最先端のレビュー

• #著者: Roberto Gozalo-Brizuela 他
• #論文アドレス: https://arxiv.org/abs/2301.04655

要約: 過去 2 年間で、ChatGPT や安定した拡散。具体的には、これらのモデルは、一般的な質問応答システムや芸術的な画像の自動作成などのタスクを実行でき、多くの分野に革命をもたらしています。

スペインのコミージャス教皇大学の研究者によって提出された最近のレビュー論文では、著者は多くの現行モデルに対する生成 AI の影響を簡潔に説明しようとしました。最近リリースされた生成 AI モデル。

分類アイコン。

お勧め:

ChatGPT だけで十分というわけではありません。大手 6 社の 9 種類の生成 AI モデルのレビューです。

論文 7: ClimaX: 気象と気候の基礎モデル

著者: Tung Nguyen 他
論文アドレス: https://arxiv.org/abs/2301.10343

#要約:

Microsoft 自律システムおよびロボティクス研究グループと Microsoft Research Center for Scientific Intelligence は、気象および気候科学モデルのための柔軟でスケーラブルな深層学習である ClimaX を開発しました。 は、さまざまな変数、時空間範囲、および物理的基盤にわたる異種データ セットを使用してトレーニングできます。 ClimaX は、汎用性を維持しながら利用可能な計算を効率的に使用できる新しいエンコーディングと集計ブロックで Transformer アーキテクチャを拡張します。 ClimaX は、CMIP6 から派生した気候データセットに対する自己教師あり学習目標を使用して事前トレーニングされています。事前トレーニングされた ClimaX を微調整して、事前トレーニング中には見ら​​れなかった大気変数や時空間スケールを含む、幅広い気候および気象タスクを解決できます。

#事前トレーニング中に使用される ClimaX アーキテクチャ

推奨:

Microsoft チームは、初の AI ベースの気象および気候基本モデル ClimaX をリリースしました。

以上がNVIDIA 64 A100 トレーニング StyleGAN-T、9 種類の生成 AI モデルのレビューの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。