node.js「多執行緒」如何處理高並發任務？

下面這篇文章跟大家介紹一下使用 nodejs 「多執行緒」處理高並發任務的方法。有一定的參考價值，有需要的朋友可以參考一下，希望對大家有幫助。

相關推薦：《nodejs影片教學》

摩爾定律

摩爾定律是由英特爾聯合創始人戈登·摩爾(Gordon Moore)在1965 年提出的，即集成電路上可容納的元器件的數量每隔18 至24 個月就會增加一倍，性能也將提升一倍。也就是說，處理器（CPU）的效能每隔大約兩年就會翻一倍。

距離摩爾定律被提出到現在，已經過去了 50 多年。如今，隨著晶片組件的規模越來越接近單個原子的規模，要跟上摩爾定律的步伐變得​​越來越困難。

在2019 年，英偉達CEO 黃仁勳在ECS 展會上說：「摩爾定律過去是每5 年增長10 倍，每10 年增長100 倍。而如今，摩爾定律每年只能增長幾個百分點，每10 年可能只有2 倍。因此，摩爾定律結束了。」

單一處理器（CPU）的效能越來越接近瓶頸，想要突破這個瓶頸，則需要充分利用多線程技術，讓單一或多個CPU 可以同時執行多個線程，更快的完成電腦任務。

Node 的多執行緒

我們都知道，Javascript 是單執行緒語言，Nodejs 利用Javascript 的特性，使用事件驅動模型，實現了非同步I/O，而非同步I/O 的背後就是多執行緒調度。

Node 非同步I/O 的實作可以參考樸靈的《深入淺出Node.js》

在Go 語言中，可以透過創建Goroutine 來明確呼叫一條新線程，並且透過環境變數GOMAXPROCS 來控制最大並發數。

在Node 中，沒有API 可以明確建立新執行緒的，Node 實作了一些非同步I/O 的API，例如fs.readFile、http.request。這些非同步 I/O 底層是呼叫了新執行緒執行非同步任務，再利用事件驅動的模式來取得執行結果。

服務端開發、工具開發可能都會需要使用到多執行緒開發。例如使用多執行緒處理複雜的爬蟲任務，用多執行緒來處理並發請求，使用多執行緒進行檔案處理等等...

在我們使用多執行緒時，一定要控制最大同時並發數。因為不控制最大並發數，可能會導致 檔案描述子 耗盡引發的錯誤，頻寬不足引發的網路錯誤、連接埠限制引發的錯誤等等。

在 Node 中並沒有用來控制最大並發數的 API 或環境變量，所以接下來，我們就用幾行簡單的程式碼來實作。

程式碼實作

我們先假設下面的一個需求場景，我有一個爬蟲，需要每天爬取100 篇掘金的文章，如果一篇一篇爬取的話太慢，一次爬取100 篇會因為網路連線數太多，導致很多請求直接失敗。

那我們可以來實現一下，每次請求 10 篇，分 10 次完成。這樣不僅可以把效率提升 10 倍，並且可以穩定運作。

下面來看看單一請求任務，程式碼實作如下：

const axios = require("axios");

async function singleRequest(article_id) {
  // 这里我们直接使用 axios 库进行请求
  const reply = await axios.post(
    "https://api.juejin.cn/content_api/v1/article/detail",
    {
      article_id,
    }
  );

  return reply.data;
}

為了方便演示，這裡我們100 次請求的都是同一個位址，我們來建立100 個請求任務，程式碼實作如下：

// 请求任务列表
const requestFnList = new Array(100)
  .fill("6909002738705629198")
  .map((id) => () => singleRequest(id));

接下來，我們來實作並發請求的方法。這個方法支援同時執行多個非同步任務，並且可以限制最大並發數。在任務池的一個任務執行完成後，新的非同步任務會被推入繼續執行，以確保任務池的高利用率。程式碼實作如下：

const chalk = require("chalk");
const { log } = require("console");

/**
 * 执行多个异步任务
 * @param {*} fnList 任务列表
 * @param {*} max 最大并发数限制
 * @param {*} taskName 任务名称
 */
async function concurrentRun(fnList = [], max = 5, taskName = "未命名") {
  if (!fnList.length) return;

  log(chalk.blue(`开始执行多个异步任务，最大并发数： ${max}`));
  const replyList = []; // 收集任务执行结果
  const count = fnList.length; // 总任务数量
  const startTime = new Date().getTime(); // 记录任务执行开始时间

  let current = 0;
  // 任务执行程序
  const schedule = async (index) => {
    return new Promise(async (resolve) => {
      const fn = fnList[index];
      if (!fn) return resolve();

      // 执行当前异步任务
      const reply = await fn();
      replyList[index] = reply;
      log(`${taskName} 事务进度 ${((++current / count) * 100).toFixed(2)}% `);

      // 执行完当前任务后，继续执行任务池的剩余任务
      await schedule(index + max);
      resolve();
    });
  };

  // 任务池执行程序
  const scheduleList = new Array(max)
    .fill(0)
    .map((_, index) => schedule(index));
  // 使用 Promise.all 批量执行
  const r = await Promise.all(scheduleList);

  const cost = (new Date().getTime() - startTime) / 1000;
  log(chalk.green(`执行完成，最大并发数： ${max}，耗时：${cost}s`));
  return replyList;
}

從上面的程式碼可以看出，使用Node 進行並發請求的關鍵就是Promise.all，Promise.all 可以同時執行多個非同步任務。

在上面的程式碼中，建立了一個長度為 max 最大並發數長度的數組，數組裡放了對應數量的非同步任務。然後使用 Promise.all 同時執行這些非同步任務，當單一非同步任務執行完成時，會在任務池取出一個新的非同步任務繼續執行，完成了效率最大化。

接下來，我們用下面這段程式碼進行執行測試（程式碼實作如下）

(async () => {
  const requestFnList = new Array(100)
    .fill("6909002738705629198")
    .map((id) => () => singleRequest(id));

  const reply = await concurrentRun(requestFnList, 10, "请求掘金文章");
})();

最終執行結果如下圖所示：

到這裡，我們的並發請求就完成囉！接下來我們分別來測試不同並發的速度吧~ 首先是 1 個並發，也就是沒有並發（如下圖）

耗時 11.462 秒！當不使用並發時，任務耗時非常長，接下來我們看看在其他並發數的情況下耗時（如下圖）

從上圖可以看出，隨著我們並發數字的提高，任務執行速度越來越快！這就是高併發的優勢，可以在某些情況下提升數倍乃至數十倍的效率！

我們仔細看看上面的耗時會發現，隨著並發數的增加，耗時還是會有一個閾值，不能完全呈現倍數增加。這是因為 Node 實際上並沒有為每個任務開一個執行緒進行處理，而只是為非同步 I/O 任務開啟了新的執行緒。所以，Node 比較適合處理 I/O 密集型任務，不適合 CPU（運算）密集型任務。

到這裡，我們的使用 Node 「多執行緒」處理高並發任務就介紹完了。如果想要程式完善一點的話，還需要考慮到任務超時時間、容錯機制，大家有興趣的可以自己實現一下。

更多程式相關知識，請造訪：程式設計入門！ ！

以上是node.js「多執行緒」如何處理高並發任務？的詳細內容。更多資訊請關注PHP中文網其他相關文章！