首页 / Mysql / MySQL数据表合并去重的简单实现方法

MySQL数据表合并去重的简单实现方法

场景:
爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重

场景:

爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重

解决:(直接举例)

首先创建两个表pep,pep2,其中pep是主表

然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据

将pep2的数据插入pep中

分组去重创建新的临时表tmp

注意:创建完这个表的id字段类型已经不是主键自增

删除pep表,并将tmp表重命名为pep

查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;

还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我是攻城狮的支持。

本文来自网络,不代表我是攻城狮立场,转载请注明出处:https://www.54gcs.cn/sql/mysql/5212.html

helwo作者

上一篇
下一篇

为您推荐

发表评论

联系我们

联系我们

在线咨询: QQ交谈

邮箱: web@5vo.cn

工作时间:周一至周五,9:00-17:30,节假日休息
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

手机访问
手机扫一扫打开网站

手机扫一扫打开网站

返回顶部
跳至工具栏