ICML 2024 | Character interaction images, now I understand your prompt words better, Peking University launches a character interaction image generation framework based on semantic perception

The AIxiv column is a column where this site publishes academic and technical content. In the past few years, the AIxiv column of this site has received more than 2,000 reports, covering top laboratories from major universities and companies around the world, effectively promoting academic exchanges and dissemination. If you have excellent work that you want to share, please feel free to contribute or contact us for reporting. Submission email: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

The first author and corresponding author of this paper are both from the MIPL Laboratory of Wangxuan Institute of Computer Science, Peking University. The first author is doctoral student Xu Zhu, The corresponding author is doctoral supervisor Liu Yang. In recent years, MIPL Laboratory has published a number of representative results at top conferences such as IJCV, CVPR, AAAI, ICCV, ICML, ECCV, etc., and has won many championship awards in heavyweight competitions in the field of CV at home and abroad. Institutions cooperate extensively.

Character interaction image generation refers to generating images that meet text description requirements, and the content is the interaction between people and objects, and the image is required to be as realistic and semantic as possible. In recent years, text-generated image models have made significant progress in generating real-life images, but these models still face challenges in generating high-fidelity images with human interaction as the main content. The difficulty mainly stems from two aspects: first, the complexity and diversity of human postures bring challenges to reasonable character generation; second, the unreliable generation of interactive boundary areas (interactive semantic-rich areas) may lead to the failure of character interactive semantic expression. insufficient.

In response to the above problems, a research team from Peking University proposed a posture and interaction-aware human interaction image generation framework (SA-HOI), which uses the generation quality of human postures and interaction boundary area information as a guide for the denoising process. More reasonable and realistic character interaction images are generated. In order to comprehensively evaluate the quality of generated images, they also proposed a comprehensive human interaction image generation benchmark.

• Paper link: https://proceedings.mlr.press/v235/xu24e.html

• Project homepage: https://sites.google.com/view/sa-hoi/

• Source code link: https://github.com/XZPKU/SA-HOI

• Lab homepage: http://www.wict.pku.edu.cn/mipl

SA-HOI is A semantic-aware human interaction image generation method improves the overall quality of human interaction image generation and reduces existing generation problems from both human body posture and interactive semantics. By combining the image inversion method, an iterative inversion and image correction process is generated, which can gradually self-correct the generated image and improve the quality.

In the paper, the research team also proposed the first human interaction image generation benchmark covering human-object, human-animal and human-human interactions, and designed targeted evaluation indicators for human interaction image generation. Extensive experiments show that this method outperforms existing diffusion-based image generation methods under both evaluation metrics for human interaction image generation and conventional image generation.

Method Introduction

                                                                                                                                                                                                               ^{Method introduction} Posture and interactive guidance(Pose and Interaction Guidance, PIG) and

Iterative Inversion and Refinement Pipeline

(Iterative Inversion and Refinement Pipeline, IIR).

In PIG, for a given character interaction text description and noise , a stable diffusion model (Stable Diffusion [2]) is first used to generate as an initial image, and a pose detector [3] is used to obtain the human body joint positions and the corresponding confidence score , constructing a pose mask that highlights low-quality pose regions.

For interactive guidance, the segmentation model is used to locate the interaction boundary area, obtain key points and corresponding confidence scores , and highlight the interaction area in the interaction mask to enhance the semantic expression of the interaction boundary. For each denoising step, and are used as constraints to correct these highlighted areas, thereby reducing the generation problems existing in these areas. In addition, IIR is combined with the image inversion model N to extract the noise n and the embedding t of the text description from the image that needs further correction, and then use PIG to perform the next correction on the image, and use the quality evaluator Q to evaluate the quality of the corrected image. Evaluate and use operations to gradually improve image quality. 🎙

The pseudocode of pose and interaction guided sampling is shown in Figure 2. In each denoising step, we first obtain the predicted noise ϵt and intermediate reconstruction ϵt as designed in the stable diffusion model (Stable Diffusion). We then apply Gaussian blur G on to obtain the degraded latent features and , and subsequently introduce the information in the corresponding latent features into the denoising process.

and are used to generate and , and highlight low pose quality areas in and to guide the model to reduce distortion generation in these areas. In order to guide the model to improve low-quality areas, low pose score areas will be highlighted through the following formula:

Where , x, y are the pixel-by-pixel coordinates of the image, H, W are the image sizes, and σ is the variance of the Gaussian distribution. represents the attention centered on the i-th joint. By combining the attention of all joints, we can form the final attention map and use a threshold to convert into a mask .

where ϕt is the threshold that generates the mask at time step t. Similarly, for interactive guidance, the author of the paper uses the segmentation model to obtain the object's outer contour point O and the human body joint point C, calculates the distance matrix D between the person and the object, and samples the key points of the interaction boundary from it, and uses and posture guidance The same method generates interactive attention and mask and is applied to calculate the final prediction noise.

Iterative inversion and image correction process

生成された画像の品質評価をリアルタイムで取得するために、論文の著者は反復 操作のガイドとして品質評価器 Q を導入しています。 k 番目のラウンド画像 については、評価子 Q を使用してその品質スコア を取得し、その後 に基づいて が生成されます。最適化後に の主な内容を保持するには、対応するノイズがノイズ除去の初期値として必要です。

しかし、そのようなノイズはすぐには入手できないため、画像反転法 が導入され、そのノイズ潜在的特徴 とテキスト埋め込み を PIG の入力として取得し、最適化された結果 を生成します。

反復前後の品質スコアを比較することで、最適化を継続するかどうかを判断できます。とに有意差がない場合、つまり閾値θを下回っている場合は、プロセスに問題がある可能性があると考えられます。画像に十分な改善が加えられたため、最適化が終了し、最高品質スコアの画像が出力されました。

キャラクターインタラクション画像生成ベンチマーク

^{ヒューマンインタラクション画像生成ベンチマーク（データセット＋評価指標）}

ヒューマンインタラクション画像生成タスク用に設計された既存のモデルやベンチマークが存在しないことを考慮すると、著者は、この論文では、150 のヒューマン インタラクション カテゴリを含む実際のヒューマン インタラクション画像データ セットと、ヒューマン インタラクション画像生成用にカスタマイズされたいくつかの評価指標を含む、ヒューマン インタラクション画像生成ベンチマークを収集および統合しました。

このデータセットは、オープンソースの人間インタラクション検出データセット HICO-DET [5] からフィルタリングされ、人間と物体、人間と動物、人間と人間の 3 つの異なるインタラクション シナリオをカバーする 150 の人間インタラクション カテゴリを取得します。この論文では、生成された人間のインタラクション画像の品質を評価するための参照データ セットとして、合計 5,000 枚の人間のインタラクションの実際の画像が収集されました。

生成されたキャラクターインタラクション画像の品質をより良く評価するために、論文の著者は、信頼性（Authenticity）、実現可能性（Plausibility）、忠実性（Fidelity）の観点から、キャラクターインタラクション生成のいくつかの評価基準をカスタマイズしました。生成された画像の。信頼性の観点から、論文の著者は、生成された結果が実際の画像に近いかどうかを評価するために、姿勢分布距離と人物-オブジェクト距離分布を導入しました。生成された結果が分布という意味で実際の画像に近いほど、優れています。品質。実現可能性の観点から、生成された人間の関節の信頼性と合理性を測定するためにポーズ信頼度スコアが計算されます。忠実度の観点からは、人間のインタラクション検出タスクと画像テキスト検索タスクを使用して、生成された画像と入力テキストの間の意味上の一貫性を評価します。

実験結果

既存手法との比較実験結果を表1、表2に示します。それぞれ、キャラクターインタラクション画像生成指標と従来の画像生成指標の性能を比較しています。表 2: 従来の画像生成指標における既存手法との実験結果の比較

実験結果は、人間などの多次元において、この論文の手法が既存のモデルよりも優れていることを示しています身体生成の品質、インタラクティブな意味表現、人間のインタラクション距離、人間の姿勢分布、および全体的な画質。

さらに、論文の著者は主観的な評価も実施し、多くのユーザーに人体の品質、オブジェクトの外観、インタラクティブなセマンティクス、全体的な品質などの複数の観点から評価してもらいました。実験結果は、SA-HOI 手法が優れていることを証明しています。あらゆる角度から人間の美学に沿って。

^{既存手法による主観評価結果}

定性的実験において、以下の図は、同じキャラクター インタラクション カテゴリの説明に対して、さまざまな方法で生成された結果の比較を示しています。上記の写真群では、新しい手法を用いたモデルは「キス」の意味を正確に表現しており、生成された人体の姿勢もより合理的になっています。以下の写真群では、論文の手法も他の手法に存在する人体の歪みや歪みを軽減することに成功しており、手がかかる部分にスーツケースのレバーを生成することで「スーツケースを取る」というインタラクションを強化しています。スーツケースと対話することで、人体の姿勢と対話セマンティクスの両方において他の方法よりも優れた結果が得られます。

^。

参考文献:

[1] Rombach, R.、Blattmann, A.、Lorenz, D.、Esser, P.、および Ommer, B. 潜在拡散モデルによる高解像度画像合成。 IEEE/CVF

Conference on Computer Vision and Pattern Recognition (CVPR)、pp. 10684–10695、2022 年 6 月

[2] HuggingFace、2022。URL https://huggingface 。 co/CompVis/stable-diffusion-v1-4.

[3] Chen、K.、Wang、J.、Pang、J.、Cao、Y.、Xiong、Y.、Li、X。 、Sun、S.、Feng、W.、Liu、Z.、Xu、J.、Zhang、Z.、Cheng、D.、Zhu、C

.、Cheng、T.、Zhao、Q.、Li、 B.、Lu, X.、Zhu, R.、Wu, Y.、Dai, J.、Wang, J.、Shi, J.、Ouyang, W.、Loy, C.C.、および Lin, D. MM検出: オープンmmlab 検出ツールボックスとベンチマーク。arXiv プレプリント arXiv:1906.07155、2019。[4] Ron Mokady、Amir Hertz、Kfir Aberman、Yael Pritch、および Daniel Cohen-Or。

テキストガイド付き拡散モデルを使用して実際の画像を編集するための反転。arXiv プレプリント

arXiv:2211.09794、2022。

[5] Yu-Wei Chao、Zhan Wang、Yugeng He、Jiaxuan Wang、Jia Deng . HICO: 画像内の人間とオブジェクトの相互作用を認識するためのベンチマーク、2015 年の IEEE 国際会議の議事録。

The above is the detailed content of ICML 2024 | Character interaction images, now I understand your prompt words better, Peking University launches a character interaction image generation framework based on semantic perception. For more information, please follow other related articles on the PHP Chinese website!