ICCV'23論文賞「Fighting of Gods」！ Meta Divide Everything と ControlNet が共同で選ばれました、審査員を驚かせた記事がもう 1 つありました

フランスのパリで開催されたコンピュータービジョンのトップカンファレンス「ICCV 2023」が閉幕しました。

今年の論文賞はまさに「神と神の戦い」です。

たとえば、最優秀論文賞を受賞した 2 つの論文には、ヴィンセント グラフ AI-ControlNet の分野を覆した研究が含まれています。

ControlNet はオープンソースになって以来、GitHub で 24,000 個のスターを獲得しています。拡散モデルに関するものであろうと、コンピュータ ビジョンの分野全体に関するものであろうと、この論文の賞は当然のことです

そして、最優秀論文賞の佳作は Gave に授与されます。もう 1 つの同様に有名な論文、Meta の "Split Everything" モデル SAM。

「Segment Everything」は、発売以来、FastSAM、LISA、SegGPT などの多くの後発モデルを含む、さまざまな画像セグメンテーション AI モデルの「ベンチマーク」となっており、そのすべてが有効性の参照ベンチマークとして使用しています。テスト中です。

論文のノミネートはどれも非常に強力ですが、この ICCV 2023 の競争はどれくらい熾烈ですか?

ICCV 2023 には合計 8,068 件の論文が投稿されましたが、採択されたのは約 4 分の 1、つまり 2,160 件の論文のみでした。

論文の 10% 近くが中国からのもので、大学以外にも、SenseTime や Joint Laboratories などの産業機関が 49 件の論文を ICCV 2023 に選出し、Megvii は 14 件の論文を選出しています。

ICCV 2023 賞を受賞した論文を見てみましょう

ControlNet が ICCV で最優秀論文を受賞しました

まず、今年の最優秀論文賞を見てみましょう(3 月

マー賞

(マー賞) としても知られる ICCV 最優秀論文の 2 つの論文は、2 年ごとに選出され、最優秀論文として知られています。コンピュータ ビジョンの分野で最高の栄誉の 1 つ。

この賞は、コンピューター ビジョン分野の先駆者であり、計算神経科学の創始者であるデイビッド マーにちなんで名付けられました。

最初の最優秀論文賞の受賞者は、スタンフォード大学の「Modeling Text to Image Diffusion」です。条件付き制御の追加》

##この論文では、

ControlNet というモデルを提案します。これは、事前トレーニングされた拡散モデルに追加の入力を追加するだけで済みます。その生成の詳細を制御できます。

ここでの入力には、スケッチ、エッジ画像、セマンティック セグメンテーション画像、人体のキー ポイントの特徴、ハフ変換検出直線、深度マップ、人骨など、さまざまな種類があります。いわゆる「 AI は手を描くことができます」、コア技術はこの記事から来ています。

その考え方とアーキテクチャは次のとおりです。

制御ネットワークは、最初に拡散モデルの重みをコピーして、「トレーニング可能なコピー」を取得します。

対照的に、元の拡散モデルは数十億の画像で事前トレーニングされているため、パラメーターは「ロック」されています。そして、この「トレーニング可能なコピー」は、条件付き制御を学習するために、特定のタスクの小さなデータセットでトレーニングするだけで済みます。

データ量が非常に少ない場合 (画像が 50,000 枚以下)、トレーニング後にモデルによって生成される条件付き制御は非常に優れています。

1×1 畳み込み層によって接続され、「ロックされたモデル」と「トレーニング可能なコピー」は「0 畳み込み層」と呼ばれる構造を形成します。この 0 畳み込み層の重みとバイアスは 0 に初期化されるため、トレーニング プロセス中に拡散モデルの微調整の速度に近い非常に高速な速度を得ることができ、個人用デバイスでもトレーニングすることができます

たとえば、200,000 の画像データを使用して Nvidia RTX 3090TI をトレーニングする場合、所要時間はわずか 1 週間未満です。

Zhang Lumin が筆頭著者です。 ControlNet 論文の著者であり、現在はスタンフォード大学の博士課程の学生です。 ControlNet に加えて、彼は Style2Paints や Fooocus などの有名な作品も作成しました。

論文アドレス: https://arxiv.org/abs/2302.05543

2 番目の論文「トロント大学の「パッシブ超広帯域単一光子イメージング」。

この論文は選考委員会によって「このテーマに関して最も驚くべき論文」と呼ばれ、審査員の一人が「彼がそのようなことを試みようと考えるのはほとんど不可能だった」と述べたほどです。

この論文の要約は次のとおりです:

この論文では、動的なシーンを極端な時間スケール (秒からピコ秒​​まで) で同時に画像化する方法について説明します。受動的（大量の光信号を積極的に送信することなく）であり、非常にまばらな光の状況で発生し、光源からのタイミング信号に依存しません。

単一光子カメラ用の既存のオプティカル フロー推定技術はこの範囲では機能しないため、この論文では、確率微積分のアイデアに基づいてピクセルの時変オプティカル フローを再構築するオプティカル フロー検出理論を開発します。光子検出タイムスタンプのストリーム内。

この理論に基づいて、この論文は主に次の 3 つのことを行っています。
(1) 低オプティカル フロー条件下では、パッシブ自走単一光​​子波長検出器カメラが達成可能な周波数帯域幅、スパニング特性を持っていることを示します。 DC から 31 GHz までのスペクトル全体;
(2) 統計的に有意なサポートを備えた周波数のタイムスタンプ データをスキャンするための新しいフーリエ ドメイン オプティカル フロー再構成アルゴリズムを導き出します;
( 3) アルゴリズムのノイズ モデルがたとえ非常に低いフォトン数または無視できないデッドタイムの​​場合。

著者らは、いくつかの前例のない機能を含む、この非同期イメージング手法の可能性を実験的に実証しました。
(1) 同期がない場合 (電球、プロジェクター、マルチパルス レーザーなど) 、異なる速度で動作する光源によって同時に照らされる画像シーン;
(2) パッシブ非視線ビデオ収集;
(3) 超広帯域ビデオを録画、30 Hz で再生可能日常の動きを示すだけでなく、10 億分の 1 秒で再生して光がどのように伝わるかを示すこともできます。

この論文の最初の著者である Mian Wei は、トロント大学の博士課程の学生です。彼の研究方向はコンピュテーショナル フォトグラフィーです。現在の研究関心は、コンピュータの改善にあります。アクティブイルミネーションイメージング技術に基づくビジョンアルゴリズム。

論文を表示するには、次のリンクをクリックしてください: https://openaccess.thecvf.com/content/ICCV2023/papers/Wei_Passive_Ultra-wideband_Single-Photon_Imaging_ICCV_2023_paper.pdf

# #「Segmentation Everything」が佳作を受賞

今回のカンファレンスでは、注目を集めたControNetに加え、Metaの「Split Everything」モデルもBest Paper Awardの佳作を受賞し、期待の高い論文となりました。トピック

#この論文では、1,100 万の画像に 10 億を超えるマスクを含む現在最大の画像セグメンテーション データ セットを提案するだけでなく、SAM モデルも提案します。目に見えない画像を素早くセグメント化できるように訓練されました。

SAM は、これまでの断片化された画像セグメンテーション モデルと比較して、このシリーズのモデルの機能が「統合」されていると言え、さまざまなタスクに有効です。パフォーマンス。

このオープンソース モデルは現在 GitHub で 38.8k スターを獲得しており、セマンティック セグメンテーションの分野における「ベンチマーク」であると言えます

論文アドレス: https://arxiv.org/abs/2304.02643
プロジェクトのホームページ: https://segment-anything.com/

学生内Google の「Track Everything」モデルは機能します。

記事のタイトルのように、このモデルは、画像内の任意の場所にある任意の

(複数) オブジェクトのピクセル レベルの追跡を実行できます。同時に。

このプロジェクトの筆頭著者は、コーネル大学の中国人博士、Qianqian Wang で、現在 UCB で博士研究員として研究を行っています。

論文アドレス: https://arxiv.org/abs/2306.05422
プロジェクトのホームページ: https://omnimotion. github.io/

開会式では、PAMITC 委員会のメンバーから寄付された特別賞も発表され、委員会は 2 つのコンピュータ ビジョン分野の会議 (CVPR および WACV) に賞を寄付しました。内部:

ヘルムホルツ賞: 10 年前にコンピュータ ビジョン研究に大きな影響を与えた ICCV 論文

• エバリンガム賞: コンピュータ ビジョン分野の進歩
• 優秀研究者: コンピュータ ビジョンの進歩に多大な貢献をした研究者
• ローゼンフェルド生涯功労賞: 長いキャリアにわたってコンピュータ ビジョンの分野に多大な貢献をした研究者

ヘルムホルツ賞を受賞した科学者は、Meta AI のメンバーである中国の科学者ヘン ワンと Google のコーデリア シュミットです。

彼らは、2013 年に発表された行動に関する記事に基づいています。特定された論文がこの賞を受賞しました。

当時、二人はフランス国立コンピューティング・オートメーション研究所（フランス語略称：INRIA）のリア研究室に所属しており、シュミットは当時の研究室のリーダーでした。

論文を表示するには、次のリンクをクリックしてください: https://ieeexplore.ieee.org/document/6751553

エヴァリンガム賞が授与されました 2 つのチームに授与されました

最初のグループの勝者は、Google の Samer Agarwal、Keir Mierle とそのチームです

2 人の受賞者は、ワシントン大学とワシントン大学を卒業しましたその成果は、コンピュータ ビジョンの分野で広く使用されているオープン ソースの C ライブラリ Ceres Solver

を開発することです。プロジェクトのホームページのリンク: http ://ceres-solver.org /

もう 1 つの受賞結果は、COCO データ セットです。これには、多数の画像と注釈が含まれ、豊富なコンテンツとタスクがあり、重要なデータです。コンピューター ビジョン モデルをテストするために設定されています。

このデータ セットは Microsoft によって提案されました。関連論文の筆頭著者は中国人科学者 Tsung-Yi Lin です。彼はコーネル大学で博士号を取得し卒業し、現在は NVIDIA Labs で研究者として働いています。

論文アドレス: https://arxiv.org/abs/1405.0312

プロジェクトのホームページ: https://cocodataset.org/
優秀研究者の栄誉を受賞したのは、ドイツのマックス・プランク研究所のマイケル・ブラック教授とジョンズ・ホプキンス大学のラマ・チェラッパ教授の2名です。

MIT のテッド アデルソン教授が生涯功績賞を受賞しました

あなたの論文は ICCV 2023 に受理されましたか? まだですか?今年の賞の選考についてどう思いますか?

以上がICCV'23論文賞「Fighting of Gods」！ Meta Divide Everything と ControlNet が共同で選ばれました、審査員を驚かせた記事がもう 1 つありましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。