STDIN에서 PostgreSQL로 행을 효율적으로 가져오는 방법은 무엇입니까?

STDIN에서 PostgreSQL로 행을 가져오는 방법

STDIN에서 PostgreSQL로 행을 가져오는 것은 데이터를 대량 로드하는 데 유용한 기술이 될 수 있습니다. Go에서는 github.com/lib/pq 패키지를 사용하여 이를 수행할 수 있습니다.

질문에 제공된 Python 스크립트는 하위 프로세스 모듈을 활용하여 psql을 호출하고 --set=ON_ERROR_STOP으로 COPY 명령을 지정합니다. =false 옵션을 사용하여 가져오기 프로세스 중 오류를 처리합니다.

Go 구현

질문에 제공된 Go 코드는 처음에 데이터를 파일에 쓴 다음 PostgreSQL로 가져옵니다. 그러나 이 방법은 임시 파일을 생성하고 삭제하는 작업이 포함되어 비효율적입니다.

더 효율적인 접근 방식은 pq 패키지의 CopyIn() 함수를 사용하여 STDIN에서 데이터를 직접 가져오는 것입니다. 수정된 Go 코드는 다음과 같습니다.

<code class="go">package main

import (
    "database/sql"
    "fmt"
    "log"

    "github.com/lib/pq"
)

func main() {
    // Open the database connection.
    db, err := sql.Open("postgres", "dbname=postgres user=postgres password=postgres")
    if err != nil {
        log.Fatalf("open: %v", err)
    }
    defer db.Close()

    // Prepare the COPY statement.
    stmt, err := pq.CopyIn(db, "test", "first_name", "last_name")
    if err != nil {
        log.Fatalf("prepare: %v", err)
    }

    // Create some sample data.
    records := [][]string{
        {"Rob", "Pike"},
        {"Ken", "Thompson"},
        {"Robert", "Griesemer"},
    }

    // Iterate over the records and write them to STDIN.
    for _, r := range records {
        _, err = fmt.Fprintf(stmt, "%s\t%s\n", r[0], r[1])
        if err != nil {
            log.Fatalf("exec: %v", err)
        }
    }

    // Signal the end of the COPY statement.
    _, err = stmt.Exec()
    if err != nil {
        log.Fatalf("exec: %v", err)
    }

    // Close the COPY statement.
    err = stmt.Close()
    if err != nil {
        log.Fatalf("stmt close: %v", err)
    }

    // Commit the transaction.
    if err = db.Commit(); err != nil {
        log.Fatalf("commit: %v", err)
    }

    fmt.Println("Data imported successfully.")
}</code>

성능 비교

이 방법을 사용하면 1백만 개의 레코드를 가져오는 데 평균 약 2초가 걸립니다. 이는 파일에 쓴 다음 디스크에서 가져오는 것보다 훨씬 빠릅니다.

위 내용은 STDIN에서 PostgreSQL로 행을 효율적으로 가져오는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!