您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

数据库根据指定字段去重

2025/9/28 4:56:25发布17次查看
需求:对一张用户表根据name/email/card_num字段去除重复数据;
思路:用group by方法可以查询出'去重'后的数据,将这些数据存储到一张临时表中,然后将临时表的数据存储到指定的表中;
误区及解决方案:group by方法只能获取部分字段(去重指定字段),不能一次获取到完整的数据,但是可以通过max函数获取group by结果集中的id,再根据id集合查询出全部的记录。
测试思路查询去重后的数据select max(id) as id,name,email,card_num from users group by name,email,card_num;
从去重后的数据中获取id集合select id from (select max(id) as id,name,email,card_num from users  group by name,email,card_num) as t;
根据去重后的数据中获取id集合,从源数据中获得记录列表select * from users  where id in (select id from (select max(id) as id,name,email,card_num from users group by name,email,card_num) as t);
实际方法根据去重后的数据中获取id集合,从源数据中获得记录列表,将这些列表数据存入一个临时表中create temp table tmp_data as select * from users where id in (select id from (select max(id) as id,name,email,card_num from users group by name,email,card_num) as t);
将临时表中的数据存入指定的数据表中,完毕insert into users_copy1 select * from tmp_data;
检测检测结果是不是和第一步查询去重后的数据总数相同select count(*) from users_copy1;
测试结果:1.4w条数据中有2300条数据重复,实际运行结果为0.7s,基本满足现在的需求。
更多mysql相关技术文章,请访问mysql教程栏目进行学习!
以上就是数据库根据指定字段去重的详细内容。
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product