首页 / Mysql / Mysql数据迁徙方法工具解析

Mysql数据迁徙方法工具解析

这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

数据迁徙是每个后端都会遇到的工作之一,本文介绍了一些常见的数据迁徙方法与工具

mysqldump:数据结构不变的数据迁徙

导出数据

恢复数据

或者连接mysql客户端

使用pymysql连接数据库

可以直接用用户名密码连接的数据库

使用:

连接处于需要SSH连接的服务器的数据库

使用:

cursor的各种操作

1.cursor.execute(sql_statement)

执行一条sql语句

2.cursor.fetchall()

获取cursor的所有结果,常跟在select语句后使用

3.cursor.fetchone()

获取cursor的第一条结果

4.cursor.lastrowid

最后一条数据的id

5.cursor.executemany(insert_statement, data_list)

批量插入一批数据,如

从cursor获取list类型的结果

直接使用fetchall(),只能得到tuple包裹的数据

现在希望得到一个list结果集,做到像Django中flat=True那样的效果

有两种方法

列表解析式(list comprehension)

这个方法的缺点在于会先使用fetchall()将结果集读到内存,再做列表转换,并不高效。

itertools工具

推荐使用这个方式,第一它不会将所有结果fetch到内存中,第二使用itertools生成列表比列表解析式要快

如何在数据迁徙中使用Django的model

  • 需要拷贝Django的settings文件,删掉不需要的配置,并设置好迁徙目标数据库
  • 需要拷贝用到此model的文件
  • 需要在settings.INSTALLED_APPS中引入models.py文件所在的目录
  • 在迁徙脚本头部启动Django

通过SSH隧道的本地转发实现Django连接远程数据库

创建一个ssh隧道,将远程数据库映射到本地端口

ssh连接进行时,可以通过访问本地端口来访问远程数据库

在Django的settings中配置数据库

至此,在使用Django的model时,将通过ssh隧道访问远程数据库

注意事项

  • 事先了解迁徙数据量,并且取5%~10%的数据测试迁徙速度
  • 由测试数据预估总迁徙用时,如果总迁徙用时大于一小时,一定要把迁徙脚本放到服务器运行,这样迁徙过程不易中断,且服务器性能远比个人电脑更优
  • 尽量使用批量插入减少写数据库的次数,使用cursor.executemany或者Django的bulk_create
  • 迁徙过程要写好log,这样能够知道数据迁徙到了哪一步,如意外终端也能找到断点继续运行
  • 创建时间字段加上auto_add_now会自动记录数据的创建时间,在插入数据的时候对这个字段赋值无效

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我是攻城狮。

本文来自网络,不代表我是攻城狮立场,转载请注明出处:https://www.54gcs.cn/sql/mysql/5578.html

helwo作者

上一篇
下一篇

为您推荐

发表评论

联系我们

联系我们

在线咨询: QQ交谈

邮箱: web@5vo.cn

工作时间:周一至周五,9:00-17:30,节假日休息
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

手机访问
手机扫一扫打开网站

手机扫一扫打开网站

返回顶部
跳至工具栏