golang 数据库事务：如果单个 exec 语句失败则继续

Question

我正在编写一个 Go 应用程序，它应该将文件中的数千个值插入到数据库中。这工作正常，只要所有值都可以插入到数据库中。如果其中一个查询失败，则之后的所有查询都会失败，因为pq: : current transaction is aborted, commands ignored until end of transaction block

我想插入所有元素，如果一个元素的插入失败，应该跳过它并插入其他元素。

我的代码：

func (db *Database) Insert(values []Value) (transerr error) {

    tx, err := db.Begin()

    if transerr != nil {

        return nil, err

    }

    defer func() {

        if err != nil {

            tx.Rollback()

        } else {

            tx.Commit()

        }

    }

    stmt, err := tx.Prepare("INSERT INTO foo VALUES (?)")

    if err != nil {

        return err

    }

    defer stmt.Close()

    for _, value : range values {

        _, err = stmt.Exec(value)

        if err != nil {

            log.Error(err)

        }

    }

    return nil

}

我试图添加一个 tx.Rollback() 以防 stmt.Exec 失败——但这会导致sql: statement is closed.

Answer 1

对于 Postgresql，您可以使用ON CONFLICT DO NOTHING我已经在我这边用 postgresql db 尝试了下面的代码，它忽略了有错误的插入行。我做了一些其他的改变来尝试在我这边。您可以忽略我的其他更改。func insert(db *sql.DB, values []string) error {    tx, err := db.Begin()    if err != nil {        return err    }    defer tx.Commit()    stmt, err := tx.Prepare("INSERT INTO foo (  foo_col) VALUES ($1) ON CONFLICT DO NOTHING")    if err != nil {        fmt.Println("errro at stmt", err)        return err    }    defer stmt.Close()    for _, value := range values {        _, err = stmt.Exec(value)        if err != nil {            fmt.Println(value, err)        }    }    return nil}对于 mysql，你可以使用INSERT IGNOREstmt, err := tx.Prepare("INSERT IGNORE INTO foo (  foo_col) VALUES ($1) ")

Answer 2

我对该问题的解决方案如下所示：不要创建单个事务并将所有语句添加到其中，而只是运行它而不创建事务。当值被读入时，生成新的 go 例程并让事务并行运行（注意连接限制）。没有并行化，性能下降了大约 30%（从 25k 值的 20s 到 30s——我们之前没有使用并行化）。通过并行化，性能提高了大约 4 倍（达到 5 秒）——请注意保持在连接范围内