关于数据批量导入到数据库

想请教一下,大家平时做数据批量导入数据库都是怎么做的,我现在数据量小,逐条导入感觉时间还可以接受,但是我在想数据量大的时候,这样就不太好了,所以想看看大家平时都是处理这类问题的

陪伴而非守候
浏览 429回答 5
5回答

小唯快跑啊

MYSQL 有source导入 如果逐条sql添加到数据库会用很久 用source效率会提升很多 150W的数据不到1分钟导入,效率差距

哆啦的时光机

postgre有copy,直接批量导入。数据库备份可以用pg_dump导出二进制,然后pg_restore批量导入到其他库中。假设pg_dump导出成单条sql,批量导入时间30分钟。导出成二进制,批量导入时间不到2分钟,效率差距

胡说叔叔

不好意思,我的问题可能描述的时候没有具体点,我是想问问大家通过php代码,如何高效的导入数据进数据库

RISEBY

我目前用laravel的话都是直接放到队列里,这样至少能保证不会超时。。。

DIEA

文件上传后,搞个后台脚本,异步处理
打开App,查看更多内容
随时随地看视频慕课网APP