golang並發請求接口

Go語言是一種非常適合併發程式設計的程式語言，在實現高並發的服務或應用時，它的效能得到了很好的發揮。在日常開發中，我們可能會遇到需要並發請求介面或並發處理大量的資料的場景，本文將介紹golang中如何實作並發請求介面。

並發請求介面的場景

在實際開發中，我們可能會遇到需要請求某個介面並取得回應資料的場景，例如：

• 取得某個網站上的商品資料。
• 從不同的API介面取得資料並彙總呈現。
• 同時請求多個資料來源以便快速收集資料。

在單線程中，如果需要請求多個接口，那麼需要一個接口請求完成之後再去請求另一個接口，這會導致整個流程變得緩慢。相反，使用並發請求介面則可以同時啟動多個請求，大幅提高請求效率。

goroutine並發處理

goroutine是go語言中的一種特殊的函數，它可以在與主執行緒並行的特殊執行緒中運行。多個goroutine同時運行可以同時請求多個接口，請求完成之後再進行資料整合處理。並發使用goroutine比較容易實現，透過go關鍵字實現即可。

WaitGroup控制goroutine

在實際開發中，我們可能會發現可能有一些協程可能比較耗時，可能需要更多的時間才能回傳結果。在這種情況下，我們需要等待協程返回結果，進行後面的處理。這時候，我們需要使用sync.WaitGroup來控制goroutine數量，確保所有請求都得到回應結果。

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "sync"
)

var wg sync.WaitGroup // 声明一个sync.WaitGroup实例，用于协程控制

func main() {
    urls := []string{"https://www.baidu.com", "https://www.qq.com", "https://www.taobao.com", "https://www.jd.com", "https://www.mi.com"}

    // 通过遍历urls，启动goroutine
    for _, url := range urls {
        wg.Add(1) // 添加一个goroutine
        go getBody(url)
    }

    wg.Wait() // 等待所有goroutine结束
}

// getBody用于获取传入url的响应结果，并打印。
func getBody(url string) {
    resp, err := http.Get(url) // 发起http GET请求
    if err != nil {
        fmt.Println(err)
        return
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Println(err)
        return
    }
    fmt.Printf("url: %s, contents:
%s
", url, string(body))
    wg.Done() // 相当于wg.Add(-1)，标志该goroutine已经结束
}

在上面的程式碼中，我們先宣告了一個sync.WaitGroup實例，用於協程數量控制。然後，在main()函數中，透過遍歷urls啟動了多個協程，同時每次啟動協程時，都會呼叫wg.Add(1)方法，表示需要等待一個協程完成。這樣的話，WaitGroup中記錄的等待的協程數量就會變成urls中url數量。然後在go getBody(url)這一行，我們啟動了請求url的協程，然後在協程結束的時候呼叫了wg.Done()方法，表示該協程已經結束。

最後，wg.Wait()呼叫使主協程等待所有協程結束。

並發請求的最佳實踐

在實際開發中，我們需要注意一些細節，這些細節可以幫助我們更好地使用並發請求介面。

一、並發數量的控制

在並發請求介面的時候，我們需要控制並發的數量，特別是當介面請求數量比較大時，避免一次性請求使伺服器受到太大壓力。我們可以設立一個最大值，這樣可以保證並發的最高數量。我們可以使用golang中的緩衝通道來實現最大並發數的控制。

ch := make(chan struct{}, 5) // 声明一个缓冲通道，大小为5，控制并发数量为5

for _, url := range urls {
    ch <- struct{}{} // 把协程数量放在通道里
    wg.Add(1)  // 添加一个goroutine
    go func(url string) {
        defer wg.Done()
        getBody(url)
        <-ch // 从通道里取出一个值，表示这个协程已经结束
    }(url)
}

在宣告緩衝通道的過程中，我們設定緩衝大小為5，表示最多同時運行5個goroutine，接著我們遍歷urls，向通道中加入結構體值。

在啟動goroutine的時候，我們宣告了一個func(url string)為處理函數，避免同時運行goroutine的最大數量超過5個，然後呼叫getBody(url )方法。在goroutine結束的時候，我們透過通道釋放一個訊號，表示有一個goroutine結束了—<-ch。

二、避免請求阻塞

在進行並發請求介面的時候，我們需要避免請求阻塞，通常出現在一個請求長時間沒有對應時。我們可以使用Golang中的context.Context來解決這個問題。如果請求逾時，則取消阻塞的請求。

url := "https://httpstat.us/200?sleep=8000"

ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*5000) // 告诉请求，5秒之后自动取消

defer cancel()

req, err := http.NewRequestWithContext(ctx, "GET", url, nil) // 使用请求上下文

if err != nil {
    log.Fatal(err)
}

client := http.DefaultClient
resp, err := client.Do(req) // 发起请求
if err != nil {
    log.Fatal(err)
}

if resp.StatusCode == http.StatusOK {
    contents, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%s
", contents)
}

在上面的程式碼中，我們使用了context.WithTimeout方法建立了一個請求上下文，其timeout設定為5秒，例如http://httpstat.us/200? sleep=8000，這個請求需要8秒才能回傳資料。然後我們使用http.NewRequestWithContext方法來建立一個使用請求上下文的請求。在發送請求時，我們使用http.DefaultClient發起請求。最後，如果響應狀態碼是200，則輸出響應資料。

當請求逾時時，請求連結就會被直接關掉。這時我們會受到「context deadline exceeded」錯誤的提示。

三、避免請求重複

在請求接口時，可能會遇到重複請求同一個接口的情況，在這種情況下，我們應該避免重複請求同一個接口，這會浪費寶貴的時間和資源。我們可以使用Golang中的sync.Map來解決這個問題。

var m = sync.Map{}

url := "https://httpbin.org/get"

wg.Add(2)
go doGet(url, &m, &wg)
go doGet(url, &m, &wg)

wg.Wait()

func doGet(url string, m *sync.Map, wg *sync.WaitGroup) {
    _, loaded := m.LoadOrStore(url, true) // 表示url已经被请求过，如果已存在，则直接返回，否则返回false并储存

    if loaded {
        fmt.Printf("url %s already requested.
", url)
        wg.Done()
        return
    }

    resp, err := http.Get(url)
    if err != nil {
        log.Fatal(err)
    }

    defer resp.Body.Close()
    contents, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%s
", contents)
    wg.Done()
}

在上面的程式碼中，我們使用了一個sync.Map來保證url只被要求一次。在doGet協程中，我們使用m.LoadOrStore(url, true)來判斷url是否已經被請求過，如果請求過了，就return直接退出協程。否則，我們發起http.Get請求並在log中列印回應資料。最後，我們透過wg.Done()方法標誌協程已經結束。

總結

本文介紹了使用golang實作並發請求介面的方法。透過使用goroutine並發處理，WaitGroup協程控制，以及緩衝通道控制並發數量。透過在請求上下文中設定逾時來避免請求阻塞，並且使用sync.Map避免請求重複。透過使用這些技術，我們可以大幅提高請求介面的效率，提升編碼效率和程式設計體驗。

以上是golang並發請求接口的詳細內容。更多資訊請關注PHP中文網其他相關文章！