Comment utiliser le multithreading C++ pour traiter de grandes quantités de données ?

L'utilisation du multi-threading en C++ pour traiter de grandes quantités de données peut améliorer considérablement les performances. Les étapes spécifiques sont les suivantes : Créer un pool de threads (un groupe de threads créé à l'avance) pour distribuer les données et les tâches aux threads : la file d'attente stocke les threads. données, et le thread lit la trace du compteur atomique dans la file d'attente Données non traitées, l'incrément du compteur de traitement du thread définit la logique de traitement des données (code qui traite les données, comme le tri, l'agrégation ou d'autres calculs) Cas pratique : lire une grande quantité de données à partir d'un fichier et l'imprimer à l'écran

Comment le faire en C++ Utiliser le multi-threading pour traiter de grandes quantités de données

Le multithreading peut améliorer considérablement les performances lors du traitement d'énormes quantités de données. Cet article vous guide dans l'utilisation du multithreading en C++ et fournit un exemple pratique de travail avec de grandes quantités de données.

Créer un pool de threads

Un pool de threads fait référence à un ensemble de threads créés à l'avance, et le programme n'a pas besoin de réaffecter des ressources à chaque fois qu'un thread est créé. En C++, les pools de threads peuvent être facilement créés à l'aide des bibliothèques std::thread et std::atomic : std::thread 和 std::atomic 库轻松创建线程池：

#include <thread>
#include <atomic>

std::atomic<bool> stop{false};
std::vector<std::thread> workers;

void WorkerThread() {
  while (!stop.load()) {
    // 在这里放置数据处理逻辑
  }
}

void CreateThreadPool(int num_threads) {
  workers.reserve(num_threads);
  for (int i = 0; i < num_threads; ++i) {
    workers.emplace_back(WorkerThread);
  }
}

分发数据和任务

分配给线程池的任务可以有多种形式。您可以在队列中存储数据，并让每个线程从队列中读取数据。另一种方法是使用原子计数器，跟踪尚未处理的数据数量，并让每个线程处理一个计数器增量。

数据处理逻辑

数据处理逻辑在 WorkerThread 函数中定义。您可以使用任何处理数据的代码，例如排序、聚合或其他计算。

实战案例：文件读取

我们使用多线程从文件读取大量数据，然后打印在屏幕上。

#include <iostream>
#include <fstream>
#include <string>

void ReadFile(std::string filename, std::atomic<int>& num_lines) {
  std::ifstream file(filename);
  if (file.is_open()) {
    std::string line;
    while (std::getline(file, line)) {
      std::cout << line << std::endl;
      num_lines++;
    }
  }
}

int main() {
  const std::string filename = "data.txt";
  int num_threads = 4;
  std::atomic<int> num_lines{0};

  CreateThreadPool(num_threads);

  std::thread file_reader(ReadFile, filename, std::ref(num_lines));

  // 让主线程等待读取线程完成
  file_reader.join();

  std::cout << "总行数：" << num_lines << std::endl;

  // 停止线程池
  stop.store(true);
  for (auto& worker : workers) {
    worker.join();
  }

  return 0;
}

在这个例子中，每个工作线程从文件中读取一行，并将其打印到屏幕上。原子计数器 num_linesrrreee

Distribuer les données et les tâches

🎜🎜attribuées au pool de threads Les tâches peuvent prendre plusieurs formes. Vous pouvez stocker des données dans une file d'attente et demander à chaque thread de lire les données de la file d'attente. Une autre approche consiste à utiliser un compteur atomique, à suivre la quantité de données qui n'ont pas encore été traitées et à demander à chaque thread de gérer un incrément de compteur. 🎜🎜🎜Logique de traitement des données🎜🎜🎜La logique de traitement des données est définie dans la fonction WorkerThread. Vous pouvez utiliser n'importe quel code qui manipule les données, comme le tri, l'agrégation ou d'autres calculs. 🎜🎜🎜Cas pratique : lecture de fichier🎜🎜🎜Nous utilisons le multi-threading pour lire une grande quantité de données du fichier puis l'imprimer à l'écran. 🎜rrreee🎜Dans cet exemple, chaque thread de travail lit une ligne du fichier et l'imprime à l'écran. Le compteur atomique num_lines suit le nombre de lignes non traitées. 🎜🎜En utilisant le multi-threading, nous pouvons traiter les tâches de lecture de fichiers en parallèle, réduisant considérablement le temps nécessaire pour lire l'intégralité du fichier. 🎜

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!