速读摘要文章源自JAVA秀-https://www.javaxiu.com/27336.html
那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢?如何提高效率看来这个问题不止我一个人苦恼过。这种方法其实就是使用了mysql的一个临时表的方式，但是里面使用到了子查询，效率也会有一点点影响，如果能使用上面的就不使用这个。这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。这样在批量插入时，如果存在手机号相同的话，是不会再插入了的。文章源自JAVA秀-https://www.javaxiu.com/27336.html
原文约 1329 字 | 图片 2 张 | 建议阅读 3 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/27336.html
MySQL 批量插入，如何不插入重复数据？
戳一戳→ 程序员的成长之路 文章源自JAVA秀-https://www.javaxiu.com/27336.html
文章源自JAVA秀-https://www.javaxiu.com/27336.html
程序员的成长之路文章源自JAVA秀-https://www.javaxiu.com/27336.html
互联网/程序员/技术/资料共享 文章源自JAVA秀-https://www.javaxiu.com/27336.html
关注文章源自JAVA秀-https://www.javaxiu.com/27336.html
阅读本文大概需要 2.3 分钟。文章源自JAVA秀-https://www.javaxiu.com/27336.html
来自：www.telami.cn文章源自JAVA秀-https://www.javaxiu.com/27336.html
温故而知新
知识这个东西，看来真的要温故而知新，一直不用，都要忘记了?文章源自JAVA秀-https://www.javaxiu.com/27336.html
业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入文章源自JAVA秀-https://www.javaxiu.com/27336.html
那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？文章源自JAVA秀-https://www.javaxiu.com/27336.html
向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率文章源自JAVA秀-https://www.javaxiu.com/27336.html
看来这个问题不止我一个人苦恼过。文章源自JAVA秀-https://www.javaxiu.com/27336.html
解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。文章源自JAVA秀-https://www.javaxiu.com/27336.html
几百万的数据，不可能查出来，做去重处理文章源自JAVA秀-https://www.javaxiu.com/27336.html
说一下我Google到的解决方案?文章源自JAVA秀-https://www.javaxiu.com/27336.html
1、insert ignore into
当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：文章源自JAVA秀-https://www.javaxiu.com/27336.html
INSERT IGNORE INTO user (name) VALUES ('telami')这种方法很简便，但是有一种可能，就是插入不是因为重复数据报错，而是因为其他原因报错的，也同样被忽略了～文章源自JAVA秀-https://www.javaxiu.com/27336.html
2、on duplicate key update
当primary或者unique重复时，则执行update语句，如update后为无用语句，如id=id，则同1功能相同，但错误不会被忽略掉。文章源自JAVA秀-https://www.javaxiu.com/27336.html
例如，为了实现name重复的数据插入不报错，可使用一下语句：文章源自JAVA秀-https://www.javaxiu.com/27336.html
INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。文章源自JAVA秀-https://www.javaxiu.com/27336.html
3、insert … select … where not exist
根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：文章源自JAVA秀-https://www.javaxiu.com/27336.html
INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)
这种方法其实就是使用了mysql的一个临时表的方式，但是里面使用到了子查询，效率也会有一点点影响，如果能使用上面的就不使用这个。文章源自JAVA秀-https://www.javaxiu.com/27336.html
4、replace into
如果存在primary or unique相同的记录，则先删除掉。再插入新记录。文章源自JAVA秀-https://www.javaxiu.com/27336.html
REPLACE INTO user SELECT 1, 'telami' FROM books
这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。文章源自JAVA秀-https://www.javaxiu.com/27336.html
实践
选择的是第二种方式文章源自JAVA秀-https://www.javaxiu.com/27336.html
<insert id="batchSaveUser" parameterType="list"> insert into user (id,username,mobile_number) values <foreach collection="list" item="item" index="index" separator=","> (#{item.id},#{item.username},#{item.mobileNumber})</foreach>ON duplicate KEY UPDATE id = id </insert>这里用的是Mybatis，批量插入的一个操作，mobile_number 已经加了唯一约束。这样在批量插入时，如果存在手机号相同的话，是不会再插入了的。文章源自JAVA秀-https://www.javaxiu.com/27336.html
<END>文章源自JAVA秀-https://www.javaxiu.com/27336.html
推荐阅读：文章源自JAVA秀-https://www.javaxiu.com/27336.html
一招解锁永久VIP会员！！！文章源自JAVA秀-https://www.javaxiu.com/27336.html
数据库连接池为什么要用threadlocal呢？不用会怎样？文章源自JAVA秀-https://www.javaxiu.com/27336.html
最近面试BAT，整理一份面试资料《Java面试BATJ通关手册》，覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。
文章源自JAVA秀-https://www.javaxiu.com/27336.html
获取方式：点个「在看」，点击上方小卡片，进入公众号后回复「面试题」领取，更多内容陆续奉上。文章源自JAVA秀-https://www.javaxiu.com/27336.html
朕已阅 
文章源自JAVA秀-https://www.javaxiu.com/27336.html
评论