Bagaimana untuk menggunakan multithreading C++ untuk memproses sejumlah besar data?

Menggunakan berbilang benang dalam C++ untuk memproses sejumlah besar data boleh meningkatkan prestasi dengan ketara Langkah-langkah khusus adalah seperti berikut: Buat kumpulan benang (sekumpulan utas yang dibuat terlebih dahulu) untuk mengedarkan data dan tugasan kepada utas: baris gilir menyimpan. data, dan benang membaca surih pembilang atom daripada baris gilir Data tidak diproses, kenaikan pembilang pemprosesan benang mentakrifkan logik pemprosesan data (kod yang memproses data, seperti pengisihan, pengagregatan atau pengiraan lain) Kes praktikal: membaca sejumlah besar data daripada fail dan mencetaknya pada skrin

Cara melakukannya dalam C++ Menggunakan multi-threading untuk memproses sejumlah besar data

Multi-threading boleh meningkatkan prestasi dengan ketara apabila memproses sejumlah besar data. Artikel ini membimbing anda menggunakan multithreading dalam C++ dan menyediakan contoh praktikal untuk bekerja dengan jumlah data yang besar.

Buat himpunan benang

Kolam benang merujuk kepada set utas yang dibuat lebih awal dan program tidak perlu memperuntukkan semula sumber setiap kali utas dicipta. Dalam C++, kumpulan benang boleh dibuat dengan mudah menggunakan pustaka std::thread dan std::atomic: std::thread 和 std::atomic 库轻松创建线程池：

#include <thread>
#include <atomic>

std::atomic<bool> stop{false};
std::vector<std::thread> workers;

void WorkerThread() {
  while (!stop.load()) {
    // 在这里放置数据处理逻辑
  }
}

void CreateThreadPool(int num_threads) {
  workers.reserve(num_threads);
  for (int i = 0; i < num_threads; ++i) {
    workers.emplace_back(WorkerThread);
  }
}

分发数据和任务

分配给线程池的任务可以有多种形式。您可以在队列中存储数据，并让每个线程从队列中读取数据。另一种方法是使用原子计数器，跟踪尚未处理的数据数量，并让每个线程处理一个计数器增量。

数据处理逻辑

数据处理逻辑在 WorkerThread 函数中定义。您可以使用任何处理数据的代码，例如排序、聚合或其他计算。

实战案例：文件读取

我们使用多线程从文件读取大量数据，然后打印在屏幕上。

#include <iostream>
#include <fstream>
#include <string>

void ReadFile(std::string filename, std::atomic<int>& num_lines) {
  std::ifstream file(filename);
  if (file.is_open()) {
    std::string line;
    while (std::getline(file, line)) {
      std::cout << line << std::endl;
      num_lines++;
    }
  }
}

int main() {
  const std::string filename = "data.txt";
  int num_threads = 4;
  std::atomic<int> num_lines{0};

  CreateThreadPool(num_threads);

  std::thread file_reader(ReadFile, filename, std::ref(num_lines));

  // 让主线程等待读取线程完成
  file_reader.join();

  std::cout << "总行数：" << num_lines << std::endl;

  // 停止线程池
  stop.store(true);
  for (auto& worker : workers) {
    worker.join();
  }

  return 0;
}

在这个例子中，每个工作线程从文件中读取一行，并将其打印到屏幕上。原子计数器 num_linesrrreee

Edarkan data dan tugas

🎜🎜yang diberikan kepada kumpulan benang Tugas boleh mengambil pelbagai bentuk. Anda boleh menyimpan data dalam baris gilir dan minta setiap utas membaca data daripada baris gilir. Pendekatan lain ialah menggunakan pembilang atom, menjejaki jumlah data yang belum diproses dan meminta setiap utas mengendalikan kenaikan pembilang. 🎜🎜🎜Logik pemprosesan data🎜🎜🎜Logik pemprosesan data ditakrifkan dalam fungsi WorkerThread. Anda boleh menggunakan sebarang kod yang memanipulasi data, seperti pengisihan, pengagregatan atau pengiraan lain. 🎜🎜🎜Kes praktikal: membaca fail🎜🎜🎜Kami menggunakan multi-threading untuk membaca sejumlah besar data daripada fail dan kemudian mencetaknya pada skrin. 🎜rrreee🎜Dalam contoh ini, setiap utas pekerja membaca baris daripada fail dan mencetaknya ke skrin. Pembilang atom num_lines menjejaki bilangan baris yang tidak diproses. 🎜🎜Dengan menggunakan multi-threading, kami boleh memproses tugasan membaca fail secara selari, dengan ketara mengurangkan masa yang diperlukan untuk membaca keseluruhan fail. 🎜

Atas ialah kandungan terperinci Bagaimana untuk menggunakan multithreading C++ untuk memproses sejumlah besar data?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!