带有ON DUPLICATE KEY UPDATE的MySQL LOAD DATA INFILE

Question

带有ON DUPLICATE KEY UPDATE的MySQL LOAD DATA INFILE

为了将大量数据加载到MySQL中，LOAD DATA INFILE是迄今为止最快的选择。不幸的是，虽然这可以以INSERT IGNORE或REPLACE的方式使用，但目前不支持ON DUPLICATE KEY UPDATE。

但是，ON DUPLICATE KEY UPDATE有优势REPLACE。当存在重复时，后者执行删除和插入。这为密钥管理带来了开销。此外，自动增量ID在替换时不会保持不变。

ON DUPLICATE KEY UPDATE使用LOAD DATA INFILE时如何模拟？

Answer 1

这些步骤可用于模拟此功能：1）创建一个新的临时表。CREATE TEMPORARY TABLE temporary_table LIKE target_table;2）（可选）从临时表中删除所有索引以加快速度。SHOW INDEX FROM temporary_table;DROP INDEX `PRIMARY` ON temporary_table;DROP INDEX `some_other_index` ON temporary_table;3）将CSV加载到临时表中LOAD DATA INFILE 'your_file.csv'INTO TABLE temporary_table FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'(field1, field2);4）使用ON DUPLICATE KEY UPDATE复制数据SHOW COLUMNS FROM target_table;INSERT INTO target_tableSELECT * FROM temporary_tableON DUPLICATE KEY UPDATE field1 = VALUES(field1), field2 = VALUES(field2);5）删除临时表DROP TEMPORARY TABLE temporary_table;使用SHOW INDEX FROM和SHOW COLUMNS FROM此过程可以针对任何给定的表自动执行。

Answer 2

我们可以在（Jan）共享的过程中用下面的单个查询替换第一个（两个步骤）。1）和2）我们可以创建具有相同参考结构且没有任何索引的新表。CREATE TEMPORARY TABLE temporary_table SELECT * FROM target_table WHERE 1 = 0;代替..1）创建一个新的临时表。CREATE TEMPORARY TABLE temporary_table LIKE target_table;2）（可选）从临时表中删除所有索引以加快速度。显示来自temporary_table的索引; DROP INDEX PRIMARYON temporary_table; DROP INDEX some_other_indexON temporary_table;