背景
很多情况下,我们开发的系统是从上游到下游,而这一层一层的数据传输过程中,各个网元之间的数据可能存在了相似性,这也就导致每个库中的表结构基本是一致的,那么有什么办法将上游网元的数据迁移到下游网元呢?当然可以直接使用python脚本进行处理,但是我这里使用一个纯sql的方式进行处理。
原理:
如果需要将A库的数据迁移到B库,则可以先将A库的数据导出,然后将该库的dump文件中创建一个SHEMA后倒入到B库中,然后直接在B库中查询SCHEMA中的数据导入到B库即可。
数据准备
模拟该两个网元,分别为dcmp和cms
dcmp和cms的数据库分别为dcmp和cms
使用pg_dump -U postgres -p 23451 dcmp > dcmp.dump命令可以导出dcmp的数据库。
操作步骤
执行命令pg_dump -U postgres -p 23451 dcmp > dcmp.dump将dcmp数据进行备份
使用vim命令打开dcmp.dump文件,找到文件中的:set search_path=public,即如下图所示:,
将其中的public 修改为dcmp,同时在该行之前新增两行:CREATE SCHEMA dump; ALTER SCHEMA dcmp OWNER TO postgres;修改完成后结果如下:
该步骤的主要作用是在导入此文件的时候,能创建一个dcmp的SCHEMA。
登录到cms的库:此时该库中情况如下
登录到cms的命令行界面,使用命令\i dcmp_bak.dump将dcmp的数据导入到cms中。导入完成后会发现cms的库中多了一个dcmp的SCHEMA,这也就是我们刚才修改dump文件的目的所在。
接下来我们就可以通过sql的方法来将dcmp中的数据迁移到cms中了,如:
INSERT INTO "public".t_movie ( "id", "content_id", "provider", "type", "play_code", "file_url", "screen_format", "encode_format", "bit_rate_type", "video_type", "audio_type", "create_time", "update_time", "status") SELECT "id", "content_id", "provider", 1 "type", '' AS play_code, "file_url", "screen_format", "encode_format", "bit_rate_type", "video_type", "audio_type", "create_time", "update_time", 4 statusFROM dcmp.t_movieWHERE provider = 'yhd';