go-sql-driver/mysql for rows.Next()的性能问题

Question

1.当查询出来的记录过万时，遍历Rows的时间过长，达到1分钟甚至更多

程序代码：

rows, err := p.conn.Query(sqlStr, params...)

if err != nil {

    log.Println("mysql query error", err.Error())

    return nil, err

}

log.Println("conn结束:", goutil.GetCurrentTime())

//延时关闭Rows

defer rows.Close()

//获取记录列

if columns, err := rows.Columns(); err != nil {

    return nil, err

} else {

    //拼接记录Map

    values := make([]sql.RawBytes, len(columns))

    scans := make([]interface{}, len(columns))

    for i := range values {

        scans[i] = &values[i]

    }

    //此处遍历在3W记录的时候，长达1分钟甚至更多

    for rows.Next() {

        _ = rows.Scan(scans...)

        each := map[string]interface{}{}

        for i, col := range values {

            each[columns[i]] = string(col)

        }

        rowMaps = append(rowMaps, each)

    }

    return rowMaps, nil

}

Answer 1

这不是golang性能的问题，其他编程语言也会类似。一次性去拿三万条记录本来就是个不合理的需求，应该通过分页来解决，一次只取几十到几百条。

Answer 2

可以用创建多个goroutine 分段查询数据。使用channl在线程中拿去查询结构进行迭代。