python pymysql数据迁移

场景:

A表中的数据迁移到C表中,但是在迁移过程中需要根据A表中的某一个数据为条件去B表中查询到,并一起放到C表中

目前方案:

分页查询,每次查询100条数据,首先通过sql把数据组装好,然后批量导入

例子:

查询sql:select t.* from (select id, name, age, (select id from tb_stu_class stu_id = id) as class_id from tb_student limit 0, 100) t

插入sql:insert into tb_student(id, name, age, class_id) values (), (), ()...

问题一:

一百万条数据操作,多长时间最为合适?

问题二:

pymysql.fetchall(),调用此方法是,一但数据为空元组,会查询很慢,这是为什么?

问题二:

    求一个最为合适的优化方案


阿晨1998
浏览 675回答 1
1回答

月关宝盒

如果没有啥复杂的逻辑,或者严格时间要求,直接用select into写入新表得了。
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python