golang - go-sql-driver/mysql for rows.Next()的性能问题

Question

1.当查询出来的记录过万时，遍历Rows的时间过长，达到1分钟甚至更多

程序代码：

rows, err := p.conn.Query(sqlStr, params...)
if err != nil {
    log.Println("mysql query error", err.Error())
    return nil, err
}
log.Println("conn结束:", goutil.GetCurrentTime())
//延时关闭Rows
defer rows.Close()
//获取记录列
if columns, err := rows.Columns(); err != nil {
    return nil, err
} else {
    //拼接记录Map
    values := make([]sql.RawBytes, len(columns))
    scans := make([]interface{}, len(columns))

    for i := range values {
        scans[i] = &values[i]
    }
    //此处遍历在3W记录的时候，长达1分钟甚至更多
    for rows.Next() {
        _ = rows.Scan(scans...)
        each := map[string]interface{}{}
        for i, col := range values {
            each[columns[i]] = string(col)
        }
        rowMaps = append(rowMaps, each)
    }
    return rowMaps, nil
}

Answer 1

여러 개의 고루틴을 생성하여 세그먼트의 데이터를 쿼리할 수 있습니다. 반복을 위해 스레드에서 쿼리 구조를 가져오려면 채널을 사용하세요.

Answer 2

이것은 golang 성능의 문제가 아니며 다른 프로그래밍 언어도 비슷할 것입니다. 한 번에 30,000개의 레코드를 가져오는 것은 무리한 요구이며, 한 번에 수십~수백 개의 레코드만 가져오는 페이징을 통해 해결해야 합니다.