スクラッパーの競合他社

プログラムの目的

Web ページに同時にアクセスして、各ページのタイトルを抽出し、これらのタイトルを端末に表示します。これは Go の同時実行機能を使用して行われ、複数のページに同時にアクセスできるため、時間を節約できます。

コードの説明

使用されるパッケージ

import (
    "fmt"
    "net/http"
    "sync"
    "github.com/PuerkitoBio/goquery"
)

fetchTitle関数

この役割は以下を担当します:

• Web ページ (URL) にアクセスします
• ページタイトルを抽出
• 結果をチャネルにエクスポートします

func fetchTitle(url string, wg *sync.WaitGroup, results chan<- string) {
    defer wg.Done() // Marca a goroutine como concluída no WaitGroup

関数パラメータ:

• url 文字列: タイトルを取得するためにアクセスする Web ページのアドレス (URL) を表します
• wg *sync.WaitGroup: WaitGroup へのポインター。同時に実行されているすべてのタスク (ゴルーチン) の完了を同期するために使用します。 * は、「アドレス」を WaitGroup` に渡し、そのコピーではないことを示します。
• results chan<- string: これは、プログラムの別の部分に文字列を送信できる一方向チャネルです。結果 (タイトルまたはエラー メッセージ) を main 関数に渡すために使用されます。

defer wg.Done() 行は、fetchTitle 関数の終了時にこのタスク (ゴルーチン) を完了としてマークするようにプログラムに指示します。これは、メインがすべてのタスクがいつ完了したかを知るために重要です。

HTTPリクエスト

要求、エラー := http.Get(url)
if err != nil {
結果 <- fmt.Sprintf("%s へのアクセス中にエラーが発生しました: %v", url, err)
戻る
}
defer req.Body.Close()

• http.Get(url): この行は、URL に対して HTTP GET リクエストを作成します。これは、ページにアクセスし、サーバーにそのコンテンツを要求していることを意味します。
• err != nil: ここでは、ページへのアクセス時にエラーがあったかどうかを確認します (たとえば、ページが存在しない、サーバーが応答していないなど)。エラーがある場合は、結果チャネルにメッセージを送信し、return で関数を終了します。
• defer req.Body.Close(): これにより、ページ コンテンツの使用が完了した後、それを保存するために割り当てられたメモリが解放されます。

ステータスチェック

if req.StatusCode != 200 {
results <- fmt.Sprintf("%s へのアクセス中にエラーが発生しました: ステータス %d %s", url, req.StatusCode, req.Status)
戻る
}

• req.StatusCode != 200: サーバーがコード 200 OK (成功を示す) で応答したかどうかを確認します。 200 でない場合は、ページが正しく読み込まれていないことを意味します。次に、結果チャネルにエラー メッセージを送信し、関数を終了します。

タイトルの読み込みと検索

ドキュメント、エラー := goquery.NewDocumentFromReader(req.Body)
if err != nil {
results <- fmt.Sprintf("%s からのドキュメントの読み込みエラー: %v", url, err)
戻る
}
タイトル := doc.Find("タイトル").Text()
results <- fmt.Sprintf("%s のタイトル: %s", URL, title)
}

• goquery.NewDocumentFromReader(req.Body): ページの HTML コンテンツ (req.Body によって提供される) を goquery にロードします。これにより、HTML の特定の部分に移動して検索できるようになります。
• doc.Find("title").Text(): タグ