手记

如何在postgresql数据库中进行不同库中的数据迁移

  • 背景

    很多情况下,我们开发的系统是从上游到下游,而这一层一层的数据传输过程中,各个网元之间的数据可能存在了相似性,这也就导致每个库中的表结构基本是一致的,那么有什么办法将上游网元的数据迁移到下游网元呢?当然可以直接使用python脚本进行处理,但是我这里使用一个纯sql的方式进行处理。





  • 原理:


     如果需要将A库的数据迁移到B库,则可以先将A库的数据导出,然后将该库的dump文件中创建一个SHEMA后倒入到B库中,然后直接在B库中查询SCHEMA中的数据导入到B库即可。



  • 数据准备



  1. 模拟该两个网元,分别为dcmp和cms

  2. dcmp和cms的数据库分别为dcmp和cms

  3. 使用pg_dump -U postgres -p 23451 dcmp > dcmp.dump命令可以导出dcmp的数据库。


  • 操作步骤

  1. 执行命令pg_dump -U postgres -p 23451 dcmp > dcmp.dump将dcmp数据进行备份

  2. 使用vim命令打开dcmp.dump文件,找到文件中的:set search_path=public,即如下图所示:

    将其中的public 修改为dcmp,同时在该行之前新增两行:CREATE SCHEMA dump; ALTER SCHEMA dcmp OWNER TO postgres;修改完成后结果如下:

    该步骤的主要作用是在导入此文件的时候,能创建一个dcmp的SCHEMA。

  3. 登录到cms的库:此时该库中情况如下

  4. 登录到cms的命令行界面,使用命令\i dcmp_bak.dump将dcmp的数据导入到cms中。导入完成后会发现cms的库中多了一个dcmp的SCHEMA,这也就是我们刚才修改dump文件的目的所在。

  5. 接下来我们就可以通过sql的方法来将dcmp中的数据迁移到cms中了,如:

       

  6. INSERT INTO "public".t_movie (	"id",	"content_id",	"provider",	"type",	"play_code",	"file_url",	"screen_format",	"encode_format",	"bit_rate_type",	"video_type",	"audio_type",	"create_time",	"update_time",	"status") SELECT	"id",	"content_id",	"provider",	1 "type",	'' AS play_code,	"file_url",	"screen_format",	"encode_format",	"bit_rate_type",	"video_type",	"audio_type",	"create_time",	"update_time",	4 statusFROM	dcmp.t_movieWHERE	provider = 'yhd';






3人推荐
随时随地看视频
慕课网APP