逐步指南：從本機路徑載入 HuggingFace ControlNet 資料集

Huggingface 提供了載入資料集的不同選項。為 ControlNet 載入本機影像資料集時，重要的是要考慮資料集結構、檔案路徑以及與 Huggingface 資料處理工具的兼容性等方面。

---

假設您已經建立了調節影像並且具有以下資料夾結構：

my_dataset/
├── README.md
└──data/
   ├── captions.jsonl
   ├── conditioning_images
   │   ├── 00001.jpg
   │   └── 00002.jpg
   └── images
       ├── 00001.jpg
       └── 00002.jpg

在此結構中，conditioning_images 資料夾儲存您的調節影像，而 images 資料夾包含 ControlNet 的目標影像。 Captions.jsonl 檔案包含連結到這些圖像的標題。

{"image": "images/00001.jpg", "text": "This is the caption of the first image."}
{"image": "images/00002.jpg", "text": "This is the caption of the second image."}

注意
字幕檔（或以下元資料檔）也可以是 csv 檔。但是，如果您選擇 CSV，請注意值分隔符，因為文字可能包含逗號，這可能會導致解析問題。

建立元資料文件

元資料檔案是提供有關資料集的附加資訊的好方法。它可以包含各種類型的數據，例如邊界框、類別、文本，或在我們的例子中，是條件圖像的路徑。

讓我們建立metadata.jsonl 檔案：

import json
from pathlib import Path

def create_metadata(data_dir, output_file):
    metadata = []
    try:
        with open(f"{data_dir}/captions.jsonl", "r") as f:
            for line in f:
                data = json.loads(line)
                file_name = Path(data["image"]).name
                metadata.append(
                    {
                        "image": data["image"],
                        "conditioning_image": f"conditioning_images/{file_name}",
                        "text": data["text"],
                    }
                )

        with open(f"{data_dir}/metadata.jsonl", "w") as f:
            for line in metadata:
                f.write(json.dumps(line) + "\n")
    except (FileNotFoundError, json.JSONDecodeError) as e:
        print(f"Error processing data: {e}")

# Example usage:
data_dir = "my_dataset/data"
create_metadata(data_dir)

這將建立一個metadata.jsonl，其中包含我們的ControlNet 所需的所有資訊。文件中的每一行對應一個圖像、一個條件圖像和相關的文字標題。

{"image": "images/00001.jpg", "conditioning_image": "conditioning_images/00001.jpg", "text": "This is the caption of the first image."}
{"image": "images/00002.jpg", "conditioning_image": "conditioning_images/00002.jpg", "text": "This is the caption of the second image."}

建立metadata.jsonl 檔案後，您的檔案結構應如下所示：

my_dataset/
├── README.md
└──data/
   ├── captions.jsonl
   ├── metadata.jsonl
   ├── conditioning_images
   │   ├── 00001.jpg
   │   └── 00002.jpg
   └── images
       ├── 00001.jpg
       └── 00002.jpg

建立載入腳本

最後，我們必須建立一個載入腳本來處理metadata.jsonl 檔案中的所有資料。該腳本應與資料集位於同一目錄中，並且應具有相同的名稱。

您的目錄結構應如下所示：

my_dataset/
├── README.md
├── my_dataset.py
└──data/
   ├── captions.jsonl
   ├── metadata.jsonl
   ├── conditioning_images
   │   ├── 00001.jpg
   │   └── 00002.jpg
   └── images
       ├── 00001.jpg
       └── 00002.jpg

對於腳本，我們需要實作一個繼承自 GeneratorBasedBuilder 的類，並包含以下三個方法：

• _info 儲存有關您的資料集的資訊。
• _split_generators 定義分割。
• _generate_examples 為每個分割產生圖像和標籤。

import datasets

class MyDataset(datasets.GeneratorBasedBuilder):

    def _info(self):

    def _split_generators(self, dl_manager):

    def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):

新增資料集元資料

有很多選項可用於指定有關資料集的信息，但最重要的是：

• features 指定資料集列類型。
  • 影像是影像特徵
  • conditioning_image 是一個影像特徵
  • text 是一個字串值
• 指定輸入特徵的監督鍵。

# Global variables
_DESCRIPTION = "TODO"
_HOMEPAGE = "TODO"
_LICENSE = "TODO"
_CITATION = "TODO"

_FEATURES = datasets.Features(
    {
        "image": datasets.Image(),
        "conditioning_image": datasets.Image(),
        "text": datasets.Value("string"),
    },
)

正如您在上面看到的，我已將一些變數設為「TODO」。這些選項僅供參考，不會影響載入。

def _info(self):
    return datasets.DatasetInfo(
                description=_DESCRIPTION,
                features=_FEATURES,
                supervised_keys=("conditioning_image", "text"),
                homepage=_HOMEPAGE,
                license=_LICENSE,
                citation=_CITATION,
            )

定義資料集分割

dl_manager 用於從 Huggingface 儲存庫下載資料集，但這裡我們使用它來取得在 load_dataset 函數中傳遞的資料目錄路徑。

在這裡我們定義資料的本地路徑

• metadata_pathmetadata.jsonl 檔案的路徑
• images_dir 影像路徑
• conditioning_images_dir 調節影像的路徑

注意
如果您為資料夾結構選擇了不同的名稱，則可能需要調整metadata_path、images_dir 和conditioning_images_dir 變數。

def _split_generators(self, dl_manager):
    base_path = Path(dl_manager._base_path).resolve()
    metadata_path = base_path / "data" / "metadata.jsonl"
    images_dir = base_path / "data"
    conditioning_images_dir = base_path / "data"

    return [
        datasets.SplitGenerator(
            name=datasets.Split.TRAIN,
            # These kwargs will be passed to _generate_examples
            gen_kwargs={
                "metadata_path": str(metadata_path),
                "images_dir": str(images_dir),
                "conditioning_images_dir": str(conditioning_images_dir),
            },
        ),
    ]

最後一個方法載入 matadata.jsonl 檔案並產生圖像及其關聯的調節圖像和文字。

@staticmethod
def load_jsonl(path):
    """Generator to load jsonl file."""
    with open(path, "r") as f:
        for line in f:
            yield json.loads(line)

def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):
    for row in self.load_jsonl(metadata_path):
        text = row["text"]

        image_path = row["image"]
        image_path = os.path.join(images_dir, image_path)
        image = open(image_path, "rb").read()

        conditioning_image_path = row["conditioning_image"]
        conditioning_image_path = os.path.join(
            conditioning_images_dir, row["conditioning_image"]
        )
        conditioning_image = open(conditioning_image_path, "rb").read()
        yield row["image"], {
            "text": text,
            "image": {
                "path": image_path,
                "bytes": image,
            },
            "conditioning_image": {
                "path": conditioning_image_path,
                "bytes": conditioning_image,
            },
        }

按照以下步驟，您可以從本機路徑載入 ControlNet 資料集。

# with the loading script, we can load the dataset
ds = load_dataset("my_dataset")

# (optional)
# pass trust_remote_code=True to avoid the warning about custom code
# ds = load_dataset("my_dataset", trust_remote_code=True)

如果您有任何疑問，請隨時在下面留言。

---

載入腳本的完整程式碼：

import os
import json
import datasets
from pathlib import Path

_VERSION = datasets.Version("0.0.2")

_DESCRIPTION = "TODO"
_HOMEPAGE = "TODO"
_LICENSE = "TODO"
_CITATION = "TODO"

_FEATURES = datasets.Features(
    {
        "image": datasets.Image(),
        "conditioning_image": datasets.Image(),
        "text": datasets.Value("string"),
    },
)

_DEFAULT_CONFIG = datasets.BuilderConfig(name="default", version=_VERSION)

class MyDataset(datasets.GeneratorBasedBuilder):
    BUILDER_CONFIGS = [_DEFAULT_CONFIG]
    DEFAULT_CONFIG_NAME = "default"

    def _info(self):
        return datasets.DatasetInfo(
            description=_DESCRIPTION,
            features=_FEATURES,
            supervised_keys=("conditioning_image", "text"),
            homepage=_HOMEPAGE,
            license=_LICENSE,
            citation=_CITATION,
        )

    def _split_generators(self, dl_manager):
        base_path = Path(dl_manager._base_path)
        metadata_path = base_path / "data" / "metadata.jsonl"
        images_dir = base_path / "data"
        conditioning_images_dir = base_path / "data"

        return [
            datasets.SplitGenerator(
                name=datasets.Split.TRAIN,
                # These kwargs will be passed to _generate_examples
                gen_kwargs={
                    "metadata_path": metadata_path,
                    "images_dir": images_dir,
                    "conditioning_images_dir": conditioning_images_dir,
                },
            ),
        ]

    @staticmethod
    def load_jsonl(path):
        """Generator to load jsonl file."""
        with open(path, "r") as f:
            for line in f:
                yield json.loads(line)

    def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):
        for row in self.load_jsonl(metadata_path):
            text = row["text"]

            image_path = row["image"]
            image_path = os.path.join(images_dir, image_path)
            image = open(image_path, "rb").read()

            conditioning_image_path = row["conditioning_image"]
            conditioning_image_path = os.path.join(
                conditioning_images_dir, row["conditioning_image"]
            )
            conditioning_image = open(conditioning_image_path, "rb").read()
            yield row["image"], {
                "text": text,
                "image": {
                    "path": image_path,
                    "bytes": image,
                },
                "conditioning_image": {
                    "path": conditioning_image_path,
                    "bytes": conditioning_image,
                },
            }

以上是逐步指南：從本機路徑載入 HuggingFace ControlNet 資料集的詳細內容。更多資訊請關注PHP中文網其他相關文章！